![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
掏粪工
一直在改bug的路上
展开
-
zookeeper的安装配置
1.下载 解压缩zookeeper, tar -zxvf zookeeper-3.4.11.tar.gz2. 将软件移到指定目录 mv zookeeper-3.4.11 指定目录3.修改.bash_profile文件,增加相应的环境变量,并使环境变量生效。export ZOOKEEPER_HOME=/opt/software/zookeeper-3.4.11export PA...原创 2018-07-25 16:49:58 · 147 阅读 · 0 评论 -
kafka的安装与配置
1.下载解压缩Kafka(在node1上)2、修改.bash_profile文件,增加相应的环境变量,并使环境变量生效; export KAFKA_HOME=/opt/software/kafka_2.11-0.11.0.2 export PATH=$PATH:$KAFKA_HOME/bin: source /etc/profile3、修改配置文件$KAFK...原创 2018-07-25 17:29:19 · 198 阅读 · 0 评论 -
Scala中自定义累加器的使用
使用自定义累加器的目的: 如果要使用多个累加器的话,会使程序变的复杂,不便于扩展维护 代码实现import org.apache.spark.{AccumulatorParam, SparkConf, SparkContext}object CustomAccumulator extends AccumulatorParam[String] { overr...原创 2018-08-01 20:05:26 · 2805 阅读 · 0 评论