![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 86
yue2008
这个作者很懒,什么都没留下…
展开
-
Flume简介及安装配置
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。 Flume的数据流由事...原创 2016-04-17 13:33:03 · 107 阅读 · 0 评论 -
Flume使用范例
范例主要的处理流程说明如下: 1、web应用的日志信息实时输出到ActiveMQ 2、Flume的Source从MQ指定队列中获取消息,并提交到内存型Channel中 3、自定义Sink从Channel提取event,对event进行转换处理,并写入到Oracle数据库 开发自定义的Sink,编译打包成jar包,并上传到/opt/apache-flume-1....原创 2016-04-17 13:53:43 · 151 阅读 · 0 评论