光于前裕于后的博客

执行报错日志为：Failed to monitor Job[-1] with exception ‘java.lang.IllegalStateException(Connection to remote Spark driver was lost)’ Last known state = SENTFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Unable to se

在shell中执行hive sql：hive -e "hive sql"切换用户执行：sudo su - hive -c 'hive -e "hive sql"'但是当用python调用shell时，发现单双引号不够用了咋办呢？？？使用<<EOF，见下：hive_cmd = 'sudo su - hive -c "hive<<EOF\n' + hive_ddl + '\nEOF"'...

需提前安装jdk、scala1.创建新项目2.增加Maven3.修改pom.xml文件&amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&amp;quot;?&amp;amp;gt;&amp;amp;lt;project xmlns=&amp;quot;http://maven.apache.org/POM/4

我要做的是发现异常用户，而我们之前没有已经打上异常不异常标签的样本，所以对原始数据进行清洗、特征工程、降维后用Mahout/R做的聚类，打上了标签，本来打算继续用Mahout/R做分类，Mahout太慢，而用R实现KNN、RandomForest之后发现无法应用到真实项目上，所以用了MLlib。下面是用R获取正负样本#1.将kmeans标出的异常类标为1作为正样本，其它类标为0作为负样本#1.1

整体思路：对原始数据提取特征后，使用KMeans做聚类，把元素明显少的类视为异常类，类中的用户视为异常用户，打上标签，之后用随机森林进行分类，训练出模型后对新数据进行分类，找出异常用户。

客户端需要向HDFS写入文件，这时往往会遇到权限问题。 解决办法：[hadoop@DEV21 cron]$ hdfs dfs -chown hadoop:hadoop /result#先将目录改为属于hadoop用户组[hadoop@DEV21 cron]$ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup

我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。　　Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管

环境版本： Scala 2.11.8; Kafka 0.10.0.1; Spark 2.0.0如需Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1版本请看这篇：Flume+Kakfa+Spark Streaming整合import org.apache.kafka.common.serialization.StringDeserializerimpor...

注意：HDP中Kafka broker的端口是6667，不是90921.将flume-ng-sql-source-1.5.2.jar，mysql-connector-java.jar放入Flume安装目录lib下

看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB，可以在hdfs-site.xml中设置dfs.block.size，注意单位是byte。分片大小范围可以在mapred-site.xml中设置，mapred.min.split.size mapred.max.split.size，minSplitSize大小默认为1B，maxSplitSize大小默认为Long.MAX_VALUE = 92

官方文档：http://kafka.apache.org/documentation.html#introductionKafka其实就是分布式的消息队列，如果不知道消息队列请看这：http://blog.csdn.net/dr_guo/article/details/507636791.下载去官网下载即可2.解压3.配置环境变量/etc/profile4.安装zo

1.下载去官网下载即可2.解压3.配置环境变量/etc/profile4.安装zookeeperZooKeeper完全分布式集群搭建5.修改配置文件conf/下的storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers: - "drguo3" - "drguo4" - "drguo5"

1.去官网下载sqoop，直接百度即可2.解压后进入conf目录guo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh3.在sqoop-env.sh添加各种home#Set path to where bin/hadoop is avail

1.先搭建Hadoop HA集群（包含ZooKeeper搭建），请看这：Hadoop HA高可用集群搭建（2.7.2）2.我只有五台机器，所以是这么规划的：drguo1/2 HMaster drguo3/4/5 HRegionServer3.先在drguo1上安装配置好之后，再拷给2/3/4/5。4.正式开始4.1去官网下载HBase，最低要0.96版本，之前版本不支持Ha

1.集群规划：2.前期准备：3.搭建zookeeper集群（drguo3/drguo4/drguo5）

前面一样的我就不写了，请戳这里zookeeper伪分布配置

1.赋予drguo用户相应的权限2.KDC中创建drguo用户并导出相应的keytab文件[root@bigdata28 ~]# kadmin.local Authenticating as principal drguo/admin@AISINO.COM with password.kadmin.local: addprinc drguo/bigdata28WARNING...

环境版本： CDH 5.12.0; Solr 4.10.3

环境版本：Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1; Flume 1.6.0

所用数据：http://download.csdn.net/download/dr_guo/9946656环境版本：Spark 1.6.1; Scala 2.10.4; JDK 1.7

详见注释package com.beagledata.sparkimport org.apache.spark.{SparkConf, SparkContext}/** * 分层抽样 * * Created by drguo on 2017/8/21. * blog.csdn.net/dr_guo */object PCSStratifiedSampling { val c

方法有很多，现提供一种比较简单的方法。

1.去官网下载Flume（使用Flume需安装jdk1.6以上版本） 2.解压后进入其根目录新建checkpoint和dataDi目录 3.进入conf目录，新建hdfs_sink.confagent.sources = r1agent.channels = c1agent.sinks = k1agent.sources.r1.type = execagent.sources.r1.com

环境版本： ·Spark 2.0 ·Scala 2.11.8  在网上搜索Spark MLlib和Spark Streaming结合的例子几乎没有，我很疑惑，难道实现准实时预测有别的更合理的方式？望大佬在评论区指出。本篇博客思路很简单，使用Spark MLlib训练并保存模型，然后编写Spark Streaming程序读取并使用模型。需注意的是，在使用Spark MLlib之前我使用了python查看分析数据、清洗数据、特征工程、构造数据集、训练模型等等，且在本篇中直接使用了python构造的数据集。

环境版本： ·HDP 2.5.3 ·HBase 1.1.2HBase提供了REST API，为开发者增加了更多选择。我们可以使用HBase REST API对表进行增删改查，但本篇博客主要使用查询功能。请注意HBase版本！ 请注意HBase版本！ 请注意HBase版本！1 启动HBase REST Server# 前台运行[root@hqc-test-hdp3 ~]# hbase rest start -p88882020-05-12 16:26:02,062 INFO [main] u

文章目录1 Hive2 Beeline3 Spark-SQL4 Spark-shell1 Hive[root@hqc-test-hdp1 ~]# su hdfs[hdfs@hqc-test-hdp1 root]$ cd# 准备数据[hdfs@hqc-test-hdp1 ~]$ vim phone.txt1 iphone5 2G 5999.02 oneplus 3G 2299.03 ...

一、工业大数据的定义工业大数据是指在工业领域，主要通过传感器等物联网技术进行数据采集、传输得来的数据，由于数据量巨大，传统的信息技术已无法对相应的数据进行处理、分析、展示，而在传统工业信息化技术的基础上借鉴了互联网大数据的技术，提出新型的基于数据驱动的工业信息化技术及其应用。二、工业大数据特点工业大数据主要有以下几个特点：1、数据来源主要是企业内部，而非互联网个人用户；2、数据采集方式更...

环境版本： HDP-2.5.3注意：HDP中Kafka broker的端口是6667，不是9092前言有两种方式可以将数据通过flume导入hive中，一是直接sink到hive中，二是sink到hdfs中，然后在hive中建个外部表。