CDH搭建flume+kafka以及sparkstreaming来做实时

14 篇文章 1 订阅
10 篇文章 0 订阅

 

 

 

实时计算部分代码开发

        1.首先我们来说一下cdh搭建flume
        flume非常的简单,直接cdh就可以集成了,不多赘述
        

用cdh非常的简单,接下来说一下kafka的集成吧,而kafka 则相对比较麻烦点,需要下载kafka的服务描述jar包

 

 

 

 

 

 

 


        
        2.再来说一下cdh搭建kafka

我是参考如下文章的。

http://www.cnblogs.com/jechedo/p/5122531.html

 

这篇文章可以解决很多问题。

https://wenku.baidu.com/view/b95550854128915f804d2b160b4e767f5acf80e6.html

 

 

 

首先下载

http://archive.cloudera.com/kafka/parcels/latest/

放到cdh-server节点上的目录   /opt/cloudera/csd/   下

然后,

下载jar文件。

http://archive.cloudera.com/csds/kafka/

 

jar文件放到目录 /opt/cloudera/csd

其他文件放到目录 

/opt/cloudera/parcel-repo

千万别忘了main文件改一下名字提交一下,上传就可以了,另外sha1改成sha哦。。。

 

 

然后把集群的所有组件停一下,服务也停一下之后重启server/opt

 

sudo service cloudera-scm-server restart

然后添加服务了。。。

 

 

如果配置了mirrorsMaker的情况下,需要配置

 

node1:9092,node2:9092,node3:9092

 

Heap dump file created [14048639 bytes in 0.099 secs]
#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="/usr/lib64/cmf/service/common/killparent.sh"
#   Executing /bin/sh -c "/usr/lib64/cmf/service/common/killparent.sh"...

 

看到了吧,java空间不够,women去改一下。

 

 

 

 

但是好像还有错误

 

看一下完整日志的情况。。

 

 

 

这个应该是白名单的关系,请注意配置kafka的mirrorMaker

Topic Whitelist

node1:9092,node2:9092,node3:9092

这样就可以了很舒服

 

 

卡夫卡已经完成了

 

 

各项组件配置完成,接下来就要开始搞一个demo了,毕竟后面要实时处理数据的嘛。。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值