![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 64
张小艺
更多的努力才能有更多的选择。
展开
-
Flume-安装配置与测试案例
前置条件:1)Java 1.7+2)Memory 足够3)磁盘空间要足够,需存放收集过来的日志4)目录权限,相应目录需授权下载安装包:https://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1.tar.gz解压至要安装的路径:/opt/modules/设置环境变量:export FLUME_HOME=/opt/modules/apache-flume-1.6.0-cdh5.15.1-binexport PATH=$P原创 2021-04-30 22:14:47 · 203 阅读 · 1 评论 -
Flume问题整理
Flume相关问题归纳Flume 的Source、Sink、Channel的作用?①source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、spooling directory、syslog②Channel组件对采集到的数据进行缓存,可以存放在Memory或File中③Sink组件是用于把数据发送到目的地的组件,目的地包括 avro、HDFS、file、logger还有一些自定义sinkFlume的Channel Selectorcha原创 2021-04-29 10:35:10 · 160 阅读 · 1 评论 -
Flume多路复用及故障转移案例
复制和多路复用:使用Flume-1监控文件变动Flume-1将变动内容传递给Flume-2Flume-2负责存储到HDFS同时Flume-1将变动内容传递给Flume-3Flume-3负责输出到Local FileSystem#mermaid-svg-odydLoMK0Bqr8dQl .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:原创 2021-04-29 10:30:20 · 207 阅读 · 2 评论 -
Flume原理分享
@Flume详细介绍事务:流程图:#mermaid-svg-MXqoLNw8xJn3H6kd .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-MXqoLNw8xJn3H6kd .label text{fill:#333}#mermaid-svg-MXqoLNw8xJn3H6kd .node rect,#me原创 2021-04-29 10:13:08 · 141 阅读 · 2 评论 -
Flume案例分享二(实时监控目录下多个文件)
@Flume实时监控目录下多个文件(新文件)不能监控实时动态的文件每500毫秒扫描一次dir-flume-hdfs.conf# Name the components on this agentdir-flume-hdfs.sources = r1dir-flume-hdfs.sinks = k1dir-flume-hdfs.channels = c1# Describe/configure the sourcedir-flume-hdfs.sources.r1.type = spoold原创 2021-04-29 09:43:59 · 556 阅读 · 0 评论 -
Flume
@FlumeFlume 传输框架是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式框架,灵活简单。最主要的作用就是实时采集数据传输给HDFS组成部分Source:负责接收数据带Flume Agent的组件,可以处理各种类型、各种格式的日志数据、包括avro、thrift、spooling directory、netcat、syslog、http。Sink:负责不断地轮询Channel中的时间并且批量的移除他们,将这些时间批量写入到存储或原创 2021-04-29 09:32:03 · 97 阅读 · 0 评论