Flume
skwang_君永夜
这个作者很懒,什么都没留下…
展开
-
Flume之生产正确的使用方式一(Singel Agent)
1.什么Flume? Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心(hdfs)进行存储的系统。即是日志采集和汇总的工具 Logstash、FileBeat是ES栈的日志数据抽取工具,它们和Flume很类似,前者是轻量级、后者是重量级,若项目组使用的是ES栈技术,那完全可以使用前者取代Flume。 1.1版本选择 NG: 1.x的版本 O...原创 2019-06-01 13:15:23 · 748 阅读 · 0 评论 -
Flume之生产正确的使用方式二(Multiple Agent+ Multiple Channel+Custom)
1.多Agent使用概述 上一篇文章我们详细介绍了单Agent的生产演进过程,但是生产上是需要从多台机器上采集数据的,故更多的是多Agent的串联和并联组合使用。如下图串联的Agent 串联的Agent一定是采用Avro Sink和 Avro Source方式进行数据传输 2.两个串联Agent实现数据采集到控制台 Agent的结构:source -> channel -> si...原创 2019-06-02 10:00:16 · 492 阅读 · 0 评论 -
Flume之同时向HDFS以及Kafka写数据
前言:本篇文章详细的介绍了Flume的Agent配置Multiple flows向Kafka以及hdfs些数据,涉及的Hadoop、Zookeeper、Kafka均是伪分布式部署。 1.基础环境 1.1硬件环境 一台4G2Core的虚拟机 1.2组件版本 组件名称 组件版本 百度网盘地址 Flume flume-ng-1.6.0-cdh5.7.0.tar.gz 链接:https:/...原创 2019-06-02 15:15:43 · 734 阅读 · 0 评论