Flume
加油妹妹
写的博客如果云里雾里,还有什么意义
展开
-
整合Flume和kafka完成实时数据采集
整合Flume和kafka完成实时数据采集 kafka和Flume都有发送和接收数据功能,为什么还需要配合使用呢,个人认为,Flume是一个数据采集工具,只管采集和发送,并没有存储功能,做不到缓存,接收到如果不能及时消费信息,会有数据丢失的风险,kafka完全可以解决这个问题,kafka自带存储,可以先接收,再慢慢消费,做日志缓存应该是更为合适的。 当然,没...原创 2018-08-17 22:25:24 · 3029 阅读 · 0 评论 -
Flume概念简介和实例展示
目录一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构 3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4.1、Flume拦截器4.2、Flume数据流4.3、Flume可靠性五、Flume使用场景5.1、多个agent顺序连接5.2、多个Agent的...原创 2018-08-15 20:47:53 · 1083 阅读 · 0 评论