Flume
月正明
JAVA WEB,大数据
展开
-
Kafka与Flume比较
在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么:1 Flumeflume:cloudera公司研发1.适合多个生产者; 多数据源数据汇总可以参考Flume采集案例:https://blog.csdn.net/wei...原创 2019-10-12 11:36:51 · 200 阅读 · 0 评论 -
Flume工作机制
1 概述&背景1.1 概述Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture ba...原创 2019-10-09 11:59:57 · 447 阅读 · 0 评论 -
Flume组成架构
1 概述Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streamin...原创 2019-10-09 16:37:01 · 872 阅读 · 0 评论 -
Flume安装教程
1 Flume安装地址1.1 Flume官网地址http://flume.apache.org/1.2 文档查看地址http://flume.apache.org/FlumeUserGuide.html1.3 下载地址http://archive.apache.org/dist/flume/2 安装部署2.1 将apache-flume-1.7.0-bin.tar...原创 2019-10-09 21:05:12 · 191 阅读 · 0 评论 -
Flume采集配置案例一:采集目录中的新文件到HDFS中
1 案例需求使用flume监听整个目录的文件,实时地将/opt/module/flume-1.7.0/logs目录中的文件采集到HDFS中去2 需求分析 3 实现步骤3.1 创建并配置文件dir-hdfs.conf配置文件属性配置参考官方文档:http://flume.apache.org/FlumeUserGuide.html[caimh@mas...原创 2019-10-09 22:41:40 · 1601 阅读 · 0 评论 -
Flume采集配置案例二:采集文件到HDFS
1 案例需求业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到HDFS2 需求分析根据需求,首先定义以下3大要素采集源,即Source--监控文件内容更新:exec "tail -F file"下沉目标,即Sink--HDFS文件系统:hdfs sinkSource与Sink之间的传递通道--Channel,可用FileChannel也...原创 2019-10-10 16:07:56 · 4483 阅读 · 0 评论 -
Flume采集配置案例三:单数据源多出口(一)
1 案例需求需求:使用agent1监控文件变动,agent1将变动内容传递给agent2,agent2负责存储到HDFS。同时agent1将变动内容传递给agent3,agent3负责输出到local filesystem。2 案例分析3 实现步骤3.1 准备工作在/opt/module/flume-1.7.0/job目录下创建目录group1,用于存放该案例需求配置文...原创 2019-10-10 19:15:40 · 349 阅读 · 0 评论 -
Flume采集配置案例四:单数据源多出口(二)
1 案例需求需求:使用agent1监控文件变动,agent1将变动传递给agent2和agent3,agent2和agent3负责存储到HDFS。2 需求分析3 实现步骤3.1 准备工作在/opt/module/flume-1.7.0/job目录下创建目录group2,用于存放该案例需求配置文件,方便管理[caimh@master-node job]$ mkdir...原创 2019-10-11 09:54:53 · 276 阅读 · 0 评论 -
Flume采集配置案例五:多数据源汇总
1 案例需求slave-node1上的agent1监控文件/opt/module/flume-1.7.0/logs/access.logslave-node2上的agent2监控文件/opt/module/flume-1.7.0/logs/access.logagent1与agent2将数据发送给master-node上的agent3,agent3将最终数据存储到HDFS2 需...原创 2019-10-11 10:55:42 · 903 阅读 · 0 评论