大数据/kafka
向阳争渡
这个作者很懒,什么都没留下…
展开
-
kafka 经典教程
https://blog.csdn.net/tangdong3415/article/details/53432166转载 2018-04-18 10:38:33 · 1300 阅读 · 0 评论 -
分布式kafka集群搭建
集群介绍:192.168.122.15 vm01192.168.122.150 vm02192.168.122.52 vm03kafka需要zookeeper来管理,所以需要先安装zookeeper。zookeeper的安装可以看我之前写的博客 kafka下载地址 下载完成后解压,并且修改config目录下的server.properties文件#三个虚拟机分别设置b...原创 2018-05-09 17:40:41 · 184 阅读 · 0 评论 -
Mysql+Flume+Kafka
需要向/usr/local/bigdata/apache-flume-1.6.0-bin/lib 放入三个jar包flume-ng-sql-source-1.3.7.jar –>flume的mysql source 下载地址: https://github.com/keedio/flume-ng-sql-source/mysql-connector-java-5.1.35.jar...原创 2018-07-11 17:16:06 · 1634 阅读 · 1 评论 -
java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils 报错
经过2天的挣扎,终于解决了这个问题。 期间也遇到了其他问题,解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对,我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz,对应Scala 2.12,更换了kafka的版本后完美解决!!!!!细节很重要!!!! 最后附上spark-submit提交语句,...原创 2018-07-26 10:32:53 · 7502 阅读 · 0 评论