![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
tuuuuski
技术交流qq 592297182
展开
-
Flume自定义Sink数据到MySQL中
Flume官方提供了可以自定义自定义原创 2020-06-07 15:05:57 · 856 阅读 · 2 评论 -
Flume和Kafka的区别
Flume和Kafka都是分布式日志采集系统,但是两者其实差别很大,使用场景和很大FlumeFlume是Cloudera(就是那个CDH)公司开发的,是一个日志采集系统,Flume本质上自己不存储数据,他是接收数据,然后转发(Sink)数据,可以Sink到很多地方,Hdfs,数据库,文件,基本包含大部分格式,而且还可以自定义目的地本质上Flume就是一个管道,类似于自来水管,Flum...原创 2020-03-01 22:42:47 · 1381 阅读 · 0 评论 -
Flume中Source、Channel、Sink配置
使用Flume接收日志原创 2020-02-17 00:08:58 · 817 阅读 · 0 评论 -
Flume自定义文件命名格式(RollFileSink)
Flume自带的本地文件Sink进行存储即RollingFileSink,其主要的官网参数如下其中sink.rollInterval表示每个多久另起一个文件,比数据以每小时(sink.rollInterval=3600)写一个文件,那么flume就会自启动起开始每小时生成一个新文件,而且文件的名称是以时间戳的的方式命名的,非常不直观友好,比如在2019-12-01 00:00:00开始那第一个...原创 2019-12-09 20:14:20 · 3091 阅读 · 1 评论