Flume
关注
分享
扫一扫
文章平均质量分 96
卢子墨
这个作者很懒，什么都没留下…
展开
-
基于cdh的Kafka+Flume配置（详细，成功运行）
目 录一 Kafka 11 版本选择 12 集群搭建规划 13 修改Kafka相关配置文件 14 配置全局变量 15 启动Kafka集群 26 测试数据 3二 Flume 51 版本选择 52修改Flume相关配置文件 53 配置全局变量 64 启动Flume 65 测试数据 7三 Flume + Kafka测试启动命令 101 Flu...原创 2018-07-23 10:41:18 · 7112 阅读 · 0 评论 -
基于cdh3.7.5的Flume+Kafka+Sparkstreaming+HDFS+CM+IDEA准实时处理日志（测试通过）
本文的主要目的就是为了实现以下需求： 通过flume收集日志； 将收集到的日志分发给kafka； 通过sparksteaming对kafka获取的日志进行处理； 然后将处理的结果存储到hdfs的指定目录下。 Flume连通Kafka配置 a1.sources = r1 a1.channels = c1 a1.sinks =s1...原创 2018-07-31 14:16:07 · 913 阅读 · 0 评论