![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
ysjh0014
QQ:3463446481
展开
-
Flume使用案例五
Flume与Flume之间数据传递,多Flume汇总数据到单Flume flume-1 监控文件 hive.log,flume-2 监控某一个端口的数据流,flume-1 与 flume-2 将数据发送给 flume-3,flume3 将最终数据写入到 HDFS 1)创建 flume-1.conf,用于监控 hive.log 文件,同时 sink 数据到 flume-3 # Name th...原创 2018-09-16 20:20:40 · 173 阅读 · 0 评论 -
Flume使用案例四
Flume与Flume之间传递数据: 单Flume,多channel,sink 使用 flume-1 监控文件变动,flume-1 将变动内容传递给 flume-2,flume-2 负责存储到HDFS,同时 flume-1 将变动内容传递给 flume-3,flume-3 负责输出到本地文件目录 1)创建 flume-1.conf,用于监控 hive.log 文件的变动,同时产生两个 cha...原创 2018-09-16 11:18:57 · 150 阅读 · 0 评论 -
Flume使用案例三
实时读取目录文件到HDFS 使用flume监听整个目录的文件 1)创建Job的job_flume2.conf文件 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spoolDir = /opt/...原创 2018-09-15 20:48:57 · 163 阅读 · 0 评论 -
Flume使用案例二
之前的案例一只算是一个小demo,在实际生产环境中是不会用Flume来做这种需求的 实时监控hive日志,并上传到HDFS中 1)拷贝Hadoop相关jar包到Flume的lib目录下(将监控日志实时上传到HDFS中,相当于持有Hadoop的API,才能操作Hadoop) hadoop/common/lib/hadoop-auth-2.5.0-cdh5.3.6.jar hadoop/com...原创 2018-09-15 18:16:27 · 193 阅读 · 0 评论 -
Flume使用案例一
1.安装部署Flume 我这里Flume的版本是CDH5.3.6的,下载地址 http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gz 上传解压之后修改配置文件 mv flume-env.sh.template flume-env.sh vi flume-env.sh 将export JAVA_HO...原创 2018-09-14 21:13:45 · 503 阅读 · 0 评论 -
Flume初识
Flume官方文档: http://flume.apache.org/FlumeUserGuide.html 1.Flume简介 1)Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务 2)Flume 只能在 Unix 环境下运行 3)Flume 基于流式架构,容错性强,也很灵活简单 4)Flume、Kafka 用来实时进行数...原创 2018-09-14 15:18:56 · 132 阅读 · 0 评论