Flume将日志log文件从本地导入kafka，再从kafka导入HDFS--使用kafka作为channel

最新推荐文章于 2022-03-14 15:29:13 发布
最新推荐文章于 2022-03-14 15:29:13 发布
阅读量3.4k 收藏 4
点赞数
分类专栏： Kafka Flume HDFS 文章标签： Flume kafka HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37890482/article/details/81130840
版权
本文介绍了如何整合前两篇博客，利用Flume将日志从本地通过Kafka传输到HDFS。文章强调了在配置文件中使用Kafka作为Channel时的注意事项，如filePrefix和fileSuffix的正确设置，并提供了启动Flume和相关服务的顺序。同时提醒读者在测试时只需使用配置文件的部分内容，并提到作者会不定期查看评论以提供帮助。
摘要由CSDN通过智能技术生成

作为前面两篇文章的整合，并使用kafka作为channel：

1、Flume将日志log文件从本地导入kafka，再从kafka导入HDFS。地址：

https://blog.csdn.net/m0_37890482/article/details/81126522#0-qzone-1-10214-d020d2d2a4e8d1a374a433f596ad1440

2、Flume根据文件中每行开始的日期进行文件夹分类导入HDFS。地址：

https://blog.csdn.net/m0_37890482/article/details/81130616#0-qzone-1-32278-d020d2d2a4e8d1a374a433f596ad1440

的补充，之前是使用memory作为channel，现改用kafka作为channel。配置文件都默认存放在 /etc/flume-ng/conf下

直接看配置文件：kafka-in.conf   （这里是从本地获取日志的配置文件，实际上可以不写sink部分，sink写到kafka-out.conf）

#--------文件从本地路径到kafka-in配置文件------#
#--------------Edit by cheengvho-------------#

# 指定Agent的组件名称
agent1.sources
最低0.47元/天 解锁文章
Cheengvho
关注
专栏目录
flume采集日志到HDFS中再导入到hive表中
slmpl的博客
08-12 4224
flume介绍 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on st...
Nginx生成日志文件 Flume采集日志文件 kafka存储日志文件 上传到hdfs上的hive中
Tomas_White的博客
10-14 495
1.启动HDFS集群 start-all.sh 2.启动Zookeeper 脚本启动 sh zkmanager.sh start 3.启动Nginx cd /usr/local/nginx/sbin/ 执行 ./nginx /usr/local/nginx/conf 采集的日志文件格式为 log_format main '$rem...
Flume + Kafka+ Log4j 采集实时日志信息到HDFS中 (日志监控系统搭建)
qq_31987649的博客
02-26 847
1.Hadoop集群搭建的配置  主机（kafka  zookeeper  三台同时安装启动）      master:  192.168.28.129      slave0:    192.168.28.130      slave1:    192.168.28.131 1.1搭建步骤如下链接: https://blog.csdn.net/qq_31987649/article/...
flume exec 监听log文件修改
易水寒
06-16 1088
# Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory agent1.channels.ch1.capacity = 1000 agent1.channels.ch1.transactionCapacity = 100 # Define an Avro source called avro...
kafka-日志存储
小城我家
11-14 1716
日志存储 Kafka 消息是以主题为单位进行归类，各个主题之间是彼此独立的，互不影响。 每个主题又可以分为一个或多个分区。 每个分区各自存在一个记录消息数据的日志文件 创建了一个 tp_demo_01 主题，其存在6个 Parition，对应的每个Parition下存在一个 [Topic-Parition] 命名的消息日志文件。在理想情况下，数据流量分摊到各个 Parition 中，实现了负载均衡的效果。在分区日志文件中，你会发现很多类型的文件，比如： index、.timestamp、.log、.sna
Flume将日志log文件从本地导入kafka，再从kafka导入HDFS。（以Kafka在两个文件中分别作为Source和Sink）
Cheengvho的博客
07-20 1556
kafka-in.conf文件（在/etc/flume-ng/conf文件夹下） #文件从本地路径到kafka配置文件# #-----------------------------# # 指定Agent的组件名称 agent1.sources = file_source agent1.sinks = kafka_sink agent1.channels = mem_channel #---...
Flume将日志log文件从本地导入Kafka_channel,再存储到HDFS。
Cheengvho的博客
08-15 658
作为前一篇的修改版，取出来kafka-in.conf文件中的sink和kafka-out.conf文件中的source。 前一篇链接：https://blog.csdn.net/m0_37890482/article/details/81130840 以下配置文件都存储于 /etc/flume-ng/conf/ 下面 kafka-in.conf #--------文件从本地路径到kafk...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
本文将详细介绍如何利用Flume采集日志数据，并将其发送到Kafka中，最后将这些数据从Kafka取出并存储到HDFS上。这一流程不仅适用于大规模的日志数据采集场景，还能帮助读者快速熟悉Flume、Kafka和HDFS等大数据组件的...
Flume从Kafka读取数据，并写入到Hdfs上
王凯凯之猿的博客
05-17 8718
需求：kafka有五个主题  topic topic-app-startuptopic topic-app-errortopic topic-app-eventtopic topic-app-usagetopic topic-app-pageflume读取Kafka 5个主题数据，并将数据写入到hdfs上，按照主题、年月日建立文件夹以及文件如下,每天新建五个文件夹，并将主题上的数据写入到对应的文件...
使用Log4j将程序日志实时写入Kafka
jcpp9527的博客
04-11 1516
Demo及相关软件下载：https://download.csdn.net/download/wqc19920906/10342360很多应用程序使用Log4j记录日志，如何使用Kafka实时的收集与存储这些Log4j产生的日志呢？一种方案是使用其他组件（比如Flume，或者自己开发程序）实时监控这些日志文件，然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppen...
Flume读取日志文件数据写入到Kafka
qq_41467182的博客
10-15 9142
只是为了实现从flume采集的数据写到kafka中  所以采集的数据使用伪数据  提前把数据放入到flume监听的文件夹中 前期准备：flume kafka（kafka要提前启动好） 一、为flume构建agent 先进去flume下的配文件夹里面  (此处我的配置文件夹名字为：myconf)  编写构建agent的配置文件（命名为：flume2kafka.conf） flume2kafk...
Flume+Kafka实现日志文件流处理
guoguopython的博客
03-14 748
Flume+Kafka实现日志文件流处理
Flume实时采集日志数据写入到Kafka
热门推荐
weixin_44455388的博客
11-01 1万+
一、为flume构建agent 先进去flume下的配文件夹里面 (此处我的配置文件夹名字为：myconf) 编写构建agent的配置文件（命名为：flume2kafka.conf） flume2kafka.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a1...
flume将数据发送到kafka、hdfs、hive、http、netcat等模式的使用总结
hadoop菜鸟的博客
07-07 1751
1、source为http模式，sink为logger模式，将数据在控制台打印出来。conf配置文件如下：# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = http #该设置表示接收通过h...
Flume KafkaChannel的使用
upupfeng的博客
03-03 2068
Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。 使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。 另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。 以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。 需要注意的几点 通常，与channel相关的配置值应用
通过flume把日志文件内容写入kafka主题
骷髅头的寂寞的博客
06-05 807
首先自行安装flume和 kafka当然还要jdk，我flume版本是1.6的kafka版本2.11，jdk1.8。首先在路径flume下的conf里面创建一个logtokafka.conf文件进行配置配置内容如下。agent.sources=r1 agent.sinks=k1 agent.channels=c1 agent.sources.r1.type=exec agent.sources....
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
可以使用Flume将数据从Kafka取出，然后存储到HDFS中。可以使用以下命令： ./flume-ng agent -n 名称> -c <配置文件> 其中，配置文件中需要指定Kafka的地址和Topic名称，以及HDFS的存储路径。 使用Flume采集数据到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值