- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 SparkStreaming pull data from Flume
Spark Streaming + Flume Integration Guide:http://spark.apache.org/docs/latest/streaming-flume-integration.html 本例子是做一个Spark Streaming 从flume中拉取数据的实验。 [b]1.面配置flume[/b] 1.首先下载必须的jar：在上面的连接中有。并将其拷贝...
2016-06-19 17:29:40
234
原创 Flume push数据到SparkStreaming
上节[url]http://kevin12.iteye.com/blog/2305946[/url]将flume的环境搭建好，并测试了flume的故障转移功能，这节编码实现Flume推送数据到Spark Streaming中。 下面的例子我只在master1上配置flume，worker1,worker2不进行配置了。 [b]1.配置[/b] master1上修改配置文件root@maste...
2016-06-19 15:16:07
241
原创 Flume的安装和测试故障转移
[b]1.实现功能 [/b] 配置Flume监控本地文件夹变化，将变化的文件上传到hdfs上。 [b]2.集群规划（3台机器都需要安装）[/b] [img]http://dl2.iteye.com/upload/attachment/0118/1297/28d83bb4-6f97-36c7-8f54-8b948969bfe4.jpg[/img] [img]http://dl2.itey...
2016-06-19 14:56:53
468
原创 Flume的安装和测试故障转移
[b]1.实现功能[/b] 配置Flume监控本地文件夹变化，将变化的文件上传到hdfs上。 [b]2.集群规划（3台机器都需要安装）[/b] [img]http://dl2.iteye.com/upload/attachment/0118/1266/d91f8424-2cce-3134-91cc-15fbe44be0f2.jpg[/img] [b]3.软件准备[/b] 下载软件包：ht...
2016-06-19 12:48:07
393
原创 Spark Streaming 统计单词的例子
测试Spark Streaming 统计单词的例子 [b]1.准备[/b] 事先在hdfs上创建两个目录： 保存上传数据的目录：hdfs://master1:9000/library/SparkStreaming/data checkpoint的目录：hdfs://master1:9000/library/SparkStreaming/CheckPoint_data [b]2.源...
2016-06-19 12:29:38
416
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人