使用Flume exec读取数据并读入HDFS

已于 2022-05-06 19:52:26 修改
阅读量817 收藏 1
点赞数
分类专栏： 大数据之Hadoop 文章标签： hdfs flume hadoop
于 2022-05-04 21:56:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QYHuiiQ/article/details/124578042
版权
本文档介绍了如何利用Apache Flume的exec source捕获命令输出，并将这些数据有效地写入HDFS。通过配置Flume conf文件，启动agent，执行指定命令生成数据，观察Flume成功将数据传输到HDFS的全过程。
摘要由CSDN通过智能技术生成

官方文档：

https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html

实现的大致思路是使用exec读取一个命令的执行结果，并将该结果发送至HDFS中。

  • 创建conf文件
[root@hadoop01 test_conf]# pwd
/usr/local/wyh/apache-flume-1.8.0-bin/test_conf
[root@hadoop01 test_conf]# cat test-exec-hdfs.conf
myagent.sources=mysource1
myagent.channels=mychannel1
myagent.sinks=mysink1

myagent.sources.mysource1.channels=mychannel1
myagent.sinks.mysink1.channel=mychannel1

myagent.sources.mysource1.type=exec
#指定exec要监控的命令
myagent.sources.mysource1.command=tail -F /usr/local/w
了解本专栏 订阅专栏 解锁全文 超级会员免费看
QYHuiiQ
关注
专栏目录
订阅专栏
Flume采集文件到HDFS（跟踪文件内容）
Struggle99的博客
10-17 307
1.配置文件编写（在flume下新建tail-hdfs.conf） pooldir：flume中自带的读取目录的source，只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1.sources.source1.type = spooldir...
flume实时抓取案例---exec
qq_45232054的博客
06-20 515
1.flume实时抓取案列—exec ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 ag1.sources.source1.type = exec ag1.sources.source1.command = tail -F /root/log/access.log ag1.sinks.sink1.type = hdfs ag1.sinks.sink1.hdfs.path =hdfs://kmmaster:8020/acce
Flume
weixin_32229529的博客
05-05 302
1.1 Flume定义 Flume是Cloudera（云纪元（公司名））提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume，实时读取本地磁盘的数据==》flume是步署在日志产生的位置，本地磁盘 ， 1.2 Flume基础架构 Flume组成架构如图1-1所示： 图1-1 Flume组成架构 source收集采集数据==》chann...
Flume学习之监控端口数据（Exec、Spooldir、Taildir）心得
ljs_0的博客
04-12 1798
Flume监控端口数据（Exec、Spooldir、Taildir）案例
flume 使用 exec 采集容器日志，转储磁盘
最新发布
花菜回锅肉的博客
09-04 822
flume 使用 exec 采集容器日志，转储磁盘 在该场景下，docker 服务为superset，flume 的sources 选择 exec ， sinks选择 file roll 。
Flume 使用exec及avro方式实现数据收集
harvey的博客
10-26 5057
导读：       本篇博客笔者主要介绍如何使用exec实现数据收集到HDFS、使用avro方式实现数据收集及整合exec和avro实现数据收集。Flume 官方文档：http://flume.apache.org/FlumeUserGuide.html1.使用exec实现数据收集到HDFS需求：监控一个文件，将文件中新增的内容收集到HDFS Agent选型：exec source + memo
Flume exec 测试
weixin_33796177的博客
03-19 167
环境：ubuntu 1604 软件：①apache-flume-1.7.0-bin.tar.gz，解压后放到 /usr/local/  下面。②sudo apt-get install apache2，然后sudo service apache2 start 启动服务。--第二步是为了安装httpd服务器，CentOS上直接yum install httpd即可。 配置： larry@linux...
一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
HuaZi_Myth的博客
11-07 4538
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...
使用flume对FTP服务器进行文件的获取解析入库mysql数据库
qq_40015759的博客
09-05 5855
使用flume对FTP服务器进行文件的获取解析入库mysql数据库 flume的基本介绍 flume的搭建和启动 FTP做source的插件使用 自定义sink将数据导入mysql中 flume的基本介绍 系统描述： Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。 数据流模型：Source-Channel-Sink。 当 Flume 来源收到事件后，...
【Flume】Flume 简单理解及使用实例
w1992wishes的博客
08-21 1848
一、Flume简介 flume 是一个cloudera提供的 高可用高可靠，分布式的海量日志收集聚合传输系统。原名是 Flume OG (original generation)，但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决...
Flume详解（包括flume框架，flume安装测试等内容）
wudidahuanggua的博客
09-26 1973
flume详细介绍
flume+hdfs
大杂烩
11-30 507
1、安装flume以及hadoop 2、配置flume配置文件，hdfs.conf #agent.sources.s1.type = spooldir #agent.sources.s1.spoolDir = D:\\logs #agent.sources.s1.fileHeader = false #agent.sources.s1.channels=c1 agent.sourc
单节点搭建flume之exec和spooldir
Technology_2016的博客
04-12 5542
一、flume安装 1、上传flume包到master并解压缩 tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz 2、添加flume路径到.bash_profile中（可有可无，只为方便） export FLUME_HOME=/home/hadoop/flume-ng-1.2.0-cdh3u5 export FLUME_CONF_DIR=$FLUME_HOME
【Flume】【源码分析】flume中ExecSource源码的详细分析——执行终端命令获取数据
三也_攻城狮
02-05 4319
我们直接看该Source的start方法吧 public void start() { logger.info("Exec source starting with command:{}", command); executor = Executors.newSingleThreadExecutor(); runner = new ExecRunnable(shell
flume学习05---Exec Source
chbxw
03-19 6502
Exec SourceExec Source在启动时运行给定的Unix命令，并期望进程在标准输出上产生连续的数据（除非属性logStdErr设置为true，否则stderr将被丢弃）。 如果进程由于任何原因退出，source也会退出，并且不会生成更多数据。 这意味着诸如cat [named pipe]或tail -F [file]之类的配置将产生期望的结果，其中日期可能不会 - 前两个命令产生数据流
flume exec source实时监控单个文件
weixin_46122692的博客
11-22 322
1、需求：实时监控Hive日志，并上传到HDFS中 2、需求分析： 3、创建flume agent配置文件flume-file-hdfs.conf文件 cd /data/flume/apache-flume vim job/flume-file-hdfs.conf 添加： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source
Flume例子：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道
Just Do IT !
01-05 2124
Hadoop集群上使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道
Flume-Exec Source 监控单个本地文件
weixin_30596735的博客
09-21 338
实时监控，并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # commons-configuration-x.x.jar # hado...
flume读取rabbitmq数据写入到hdfs中
06-09
要将RabbitMQ中的数据写入到HDFS中，可以使用Flume来实现。Flume是一个分布式、可靠、高可用的日志收集和聚合系统，支持从多个数据源（包括RabbitMQ）获取数据，并将数据写入到多个目的地（包括HDFS）中。 下面是一个使用Flume读取RabbitMQ数据写入HDFS的简单示例： 1. 安装RabbitMQ和Flume 首先需要安装RabbitMQ和Flume，可参考官方文档进行安装。 2. 配置RabbitMQ 需要在RabbitMQ中创建一个Exchange和一个Queue，并将它们绑定在一起。这样当有消息到达Exchange时，会被路由到Queue中。 3. 配置Flume 需要创建一个Flume配置文件，指定RabbitMQ作为数据源，HDFS作为目的地，并定义数据的格式和转换规则。 示例配置文件如下： ``` # Name the components on this agent agent.sources = rabbitmq-source agent.sinks = hdfs-sink agent.channels = memory-channel # Describe/configure the source agent.sources.rabbitmq-source.type = org.apache.flume.source.rabbitmq.RabbitMQSource agent.sources.rabbitmq-source.uri = amqp://guest:guest@localhost:5672 agent.sources.rabbitmq-source.queue = my-queue # Describe the sink agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:9000/flume/rabbitmq-data/ agent.sinks.hdfs-sink.hdfs.fileType = DataStream agent.sinks.hdfs-sink.hdfs.writeFormat = Text # Use a channel which buffers events in memory agent.channels.memory-channel.type = memory # Bind the source and sink to the channel agent.sources.rabbitmq-source.channels = memory-channel agent.sinks.hdfs-sink.channel = memory-channel ``` 上述配置文件中，我们定义了一个名为“rabbitmq-source”的数据源，使用RabbitMQSource来接收来自RabbitMQ的数据。然后，我们定义了一个名为“hdfs-sink”的目的地，使用HDFS Sink将数据写入到HDFS中。最后，我们定义了一个名为“memory-channel”的通道，用于缓存事件。 4. 启动Flume 使用以下命令启动Flume： ``` $ bin/flume-ng agent -n agent -c conf -f conf/flume.conf ``` 其中，`-n`指定代理的名称，`-c`指定配置文件目录，`-f`指定配置文件路径。 5. 测试 向RabbitMQ发送一些消息，可以通过以下命令查看HDFS中是否成功写入了数据： ``` $ bin/hadoop fs -cat /flume/rabbitmq-data/* ``` 注意：这只是一个简单的示例，实际应用中需要根据具体情况进行配置和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

QYHuiiQ

听说打赏的人工资翻倍~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值