![](https://img-blog.csdnimg.cn/20210906164808205.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
flume
郝少
爱出者爱返,福往者福来。
展开
-
Flume的基础技术理论
一、flume介绍1、Flume 最早是Cludera提供的日志收集系统,后贡献给Apache;2、Flume 是一个分布式的海量日志采集,聚合,转移工具;3、Flume的开发语言为java;4、Flume的工作流程:source不断的接收数据,将数据封装成一个一个的event,然后将event发送给channel,chanel作为一个缓冲区会临时存放这些event数据,随后sin...原创 2020-04-22 11:04:12 · 375 阅读 · 0 评论 -
flume+kafka实时监控log日志
一、提前环境准备1、zookeeper2、kafka3、flume4、带日志输出的任意程序二、需求说明使用flume的exec source实时监控某个程序的日志打印,并实时输出到kafka;三、具体操作1、在conf下新建kafka-logger.confagent.sources = s1agent.channels = c1agent.sinks =...原创 2020-04-21 16:30:24 · 1179 阅读 · 0 评论 -
Exec source、Spooldir Source和Taildir Source的比较
Exec source 适用于监控一个实时追加的文件,但不能保证数据不丢失;SpooldirSource 能够保证数据不丢失,且能够实现断点续传,但延迟较高,不能实时监控;TaildirSource 既能够实现断点续传,又可以保证数据不丢失,还能够进行实时监控。...原创 2020-04-21 15:35:11 · 2273 阅读 · 0 评论 -
flume使用Taildir Source采集文件夹数据到hdfs
一、说明1、此方式适合生产环境;2、Taildir Source 是Apache flume1.7新推出的,但是CDH Flume1.6做了集成;3、Taildir Source是高可靠(reliable)的source,他会实时的将文件偏移量写到json文件中并保存到磁盘。下次重启Flume时会读取Json文件获取文件O偏移量,然后从之前的位置读取数据,保证数据零丢失;4、tai...原创 2020-04-21 11:27:24 · 2296 阅读 · 1 评论 -
Flume使用Spooling Directory Source采集文件夹数据到hdfs
一、需求说明flume监控linux上一个目录(/home/flume_data)下进入的文件,并写入hdfs的相应目录下(hdfs://master:9000/flume/spool/%Y%m%d%H%M)二、新建配置文件1、在conf下新建配置文件hdfs-logger.conf# Name the components on this agentspool-hdfs-ag...原创 2020-04-21 10:43:32 · 1113 阅读 · 0 评论 -
Flume单机安装及测试
一、安装1、官网下载http://flume.apache.org/download.html[root@master softWare]# cd flume/[root@master flume]# ls[root@master flume]# wget https://downloads.apache.org/flume/1.9.0/apache-flume-1.9....原创 2020-04-02 11:06:11 · 447 阅读 · 0 评论