![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 82
限量版爱你128
重启试试
展开
-
Flume到kafka
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -n +0 /opt/module/flume-1.7.0/data.csva1.sources.r1.shell = /bin/bash -c# Desc.原创 2021-11-16 10:00:08 · 543 阅读 · 0 评论 -
Flume企业真实面试题
1.你是如何实现Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume。2.Flume的Source,Sink,Channel的作用?你们Source是什么类型?1、作用(1)Source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy(2)Channel组件对采集到的数据进行缓存,可原创 2021-10-25 11:43:49 · 77 阅读 · 0 评论 -
Flume监控端口数据案例
1.需求分析2.实现步骤安装telnet工具将rpm软件包(xinetd-2.3.14-40.el6.x86_64.rpm、telnet-0.17-48.el6.x86_64.rpm和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software文件夹下面。执行RPM软件包安装命令:[zz@hadoop102 software]$ sudo rpm ...原创 2021-10-25 11:37:53 · 246 阅读 · 0 评论 -
Flume多数据源汇总案例
1.需求分析2.实现步骤1.准备工作分发Flume[zz@hadoop102 module]$ xsync flume在hadoop102、hadoop103以及hadoop104的/opt/module/flume/job目录下创建一个group3文件夹。[zz@hadoop102 job]$ mkdir group3[zz@hadoop103 job]$ mkdir group3...原创 2021-10-25 11:25:32 · 1051 阅读 · 6 评论 -
Flume单数据源多出口案例(Sink组)
1.需求分析2.实现步骤1.准备工作在/opt/module/flume/job目录下创建group2文件夹[zz@hadoop102 job]$ cd group2/2.创建flume-netcat-flume.conf配置1个接收日志文件的source和1个channel、两个sink,分别输送给flume-flume-console1和flume-flume-console2。创建配置文件...原创 2021-10-25 11:09:13 · 315 阅读 · 0 评论 -
Flume单数据源多出口案例(选择器)
1.需求分析2.实现步骤准备工作 在/opt/module/flume/job目录下创建group1文件夹 [zz@hadoop102 job]$ cd group1/ 在/opt/module/datas/目录下创建flume3文件夹 [zz@hadoop102 datas]$ mkdir flume3 创建flume-file-flume.conf 配置1个接收日志文件的source和两个channel、两个sink,分别输送给flu.原创 2021-10-25 10:43:48 · 768 阅读 · 0 评论 -
Flume实时读取目录文件到HDFS案例
1.需求分析2.实现步骤创建配置文件flume-dir-hdfs.conf[zz@hadoop102 job]$ touch flume-dir-hdfs.conf打开文件[zz@hadoop102 job]$ vim flume-dir-hdfs.conf添加如下内容a3.sources = r3a3.sinks = k3a3.channels = c3#...原创 2021-10-25 10:02:21 · 259 阅读 · 0 评论 -
Flume实时读取本地文件到HDFS案例
1.实时读取本地文件到HDFS案例 需求分析实现步骤1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/opt/modul...原创 2021-10-25 09:21:26 · 501 阅读 · 0 评论