- 博客(2)
- 问答 (1)
- 收藏
- 关注
RSS订阅flume+kafka+sparkstreaming搭建整合
主要是数据从flume进去kafka，然后交给sparkstreaming处理的流程 本文依旧以单词计数例子为例 首先，flume使用1.6版本，如果是1.6以下的话，没带有官方的kafkasink,需要自己实现，自己实现也不难实现，写一个自定义的sink，在里面方法调用kafka生产者代码，把数据发送到指定的kafka的broker的topic即可。 此处使用1.6版本，直接使用kafka...
2015-11-22 00:03:57
230
flume整合sparkstreaming
这里写一个flume整合sparkstreaming的例子 我这里使用scala ide和maven的方式 spark用的1.2版本，scala是2.10版本，flume使用最新版的1.6 整合的第一步，要加上flume的maven依赖[code="java"] org.apache.spark spark-streaming-flume_2.10 1.2.1...
2015-11-21 20:48:18
113
空空如也
not exists 里面用and 查询不到数据
2014-09-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人