将flume监听日志存入kafka，hdfs（Ubuntu）

最新推荐文章于 2022-04-27 11:06:40 发布
最新推荐文章于 2022-04-27 11:06:40 发布
阅读量360 收藏 2
点赞数 1
分类专栏： 日常学习 文章标签： flume hadoop kafka hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44716382/article/details/118876911
版权
本文介绍了在Ubuntu环境中，如何使用Flume监听日志，然后将日志数据发送到Kafka，并最终存储到HDFS的详细步骤，包括启动Kafka、配置Flume以及配置文件的解析。
摘要由CSDN通过智能技术生成

1.环境

kafka:kafka_2.11-2.3.1
flume:1.7.0
scala:2.11.7

2.操作步骤


1.启动zookeeper 

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

2.启动kafka

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties

3.启动flume（flume-kafka）
flume-kafka配置文档

cd /usr/local/flume
flume-ng agent -c /usr/local/flume/conf -f /usr/local/flume/conf/flume-kafka.conf -n a1 -Dflume.root.logger=DEBUG,console

备份命令

cd /usr/local/flume
flume-ng agent -c /usr/local/flume/conf -f /home/jobs/flume-kafka.conf -n a1 -Dflume.root.logger=DEBUG,console

4.启动kafka消费者

cd /usr/local/kafka
./bin/kafka-console-consumer.sh
最低0.47元/天 解锁文章
cy-landy
关注
专栏目录
flume采集日志信息到hdfs
**My Coding Family**
09-05 1013
如上问题有的来自我自身项目开发，有的收集网站，有的来自读者…如有侵权，立马删除。再者，针对此专栏中部分问题及其问题的解答思路或步骤等，存在少部分搜集于全网社区及人工智能问答等渠道，若最后实在是没能帮助到你，还望见谅！并非所有的解答都能解决每个人的问题，在此希望屏幕前的你能够给予宝贵的理解，而不是立刻指责或者抱怨！如果你有更优解，那建议你出教程写方案，一同学习！共同进步。ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏。
数据采集模块——Flume消费Kafka数据写入到HDFS
weixin_44196083的博客
03-27 3369
一、项目背景 1. 实时数据写入到 Kafka topic 中，经 Flume 批量采集到 HDFS 上。此处的实时数据格式为标准 JSON 格式（不包含嵌套 JSON）。 2. 测试环境模拟数据的采集过程。测试集群为 第三方公司 基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive ,HBase ,Phoenix,Zookeeper,...
flume-kafka的操作笔记（Ubuntu）
qq_44716382的博客
07-17 310
1.Linux系统中vim编辑器的安装和使用方法 1.安装 vim编辑器是Linux系统上最著名的文本/代码编辑器，是vi编辑器的加强版，可以完成文件的创建和代码的编写，打开一个终端，然后，执行下面命令完成vim编辑器的安装： sudo apt-get install vim 2.执行上面命令以后，如果屏幕上出现信息要求进行确认，在提示处输入“y” 即可。 下面演示一个实例来了解vim编辑器的使用方法。假设要在“/home/hadoop/”目录下新建一个文件word.txt，里面包含一些单词。可以执行下
模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中
weixin_33717298的博客
06-13 432
1.采集日志文件时一个很常见的现象 采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求，首先定义一下3大要素： 采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink—HDFS文件系统：hdf...
flume监听日志文件
跨境电商
03-20 916
控制台监听打印flume-exec.log文件写入数据 # Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory agent1.channels.ch1.capacity = 1000 agent1.channels.ch1.transactionCapacity = 100 # Define an Avro source called avro-source1 on agent1 and tell
flume监听日志存入kafka，hdfs
MK_Durry的博客
07-15 584
配置文件： 存入hdfs : #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = 监听的文件路径(在flume启动之前创建) a1.sources.r1.fileHeader = true a1.sources.r1.deser
flume监控文件内容输出到kafka中
m0_58027884的博客
12-31 1393
a1.sources = s1 a1.sinks = k1 a1.channels = c1 a1.sources.s1.channels = c1 a1.sinks.k1.channel = k1 a1.sources.s1.type = exec a1.sources.s1.command = tail -F /home/yu/access.log a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.topic
Kafka | Flume Sink日志到Kafka&HDFS
俗人
01-03 504
记录下将服务端AC设备产生的数据采集到Flume中，然后基于Flume Sink 把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于Spark Streaming采用Direct的方式，将数据从消息队列中，取出并做处理。 Flume采集日志文件，同时Sink写入到Kafka与HDFS。： agent =ac_online_user，如下： ...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
本文将详细介绍如何利用Flume采集日志数据，并将其发送到Kafka中，最后将这些数据从Kafka取出并存储到HDFS上。这一流程不仅适用于大规模的日志数据采集场景，还能帮助读者快速熟悉Flume、Kafka和HDFS等大数据组件的...
Flume（原理解释、配置、flume导入数据到kafka或hdfs或logger）
qq_42005540的博客
06-06 1994
这里写自定义目录标题
flume实时监听采集日志文件到kafka和hdfs上
转几圈晕
07-11 848
我需要采集的数据为访问日志 vi ibike_access.conf a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = exec a1.sources.r1.command =tail -F /opt/ibike/log/ibike_access.logss a1.sources.r1.shell = /bin/sh -c a1.sources.r1.fileHeader = true a1.channels.c1.
Android Studio第一章Big task1 - Experiment task1
weixin_44458631的博客
09-18 264
Big task1 -Experiment task1 Writing an App，the root layout is a vertical LinearLayout with 4 horizontal LinearLayouts and 3 TextViews. The App’s name should contain your name message (initials of your name). The 1st horizontal LinearLayout, within 1 Tex..
Flume学习之同时输出数据到HDFS和Kafka
小健的博客
06-30 676
进入flume安装目录的conf配置文件夹： [root@qiyu01 apache-flume-1.6.0-bin]# cd /opt/modules/apache-flume-1.6.0-bin/conf 创建flume配置文件并编辑： [root@qiyu01 conf]# vi flumeByHDFS_Kafka.conf 文件内容：（我的是ambari+hdp集群，kafka的端口为6667） #通过sink把数据分别输出到kafka和HDFS上 # Name the comp
flume数据迁移到kafka,和hdfs中
Shixuefeng2410的博客
04-27 422
把users.csv,events.csv...迁移到kafka和hdfs中 #创建本地文件目录，拖拽文件到目录中 mkdir -p /opt/eventsource users user_friends_raw user_friends events event_attendees_raw event_attendees test train #启动zookeeper 和kafka 服务 zkServer.sh startnohup kafka-server-start.sh /opt/soft...
flume实时监控日志文件到hdfs
海涛高软
07-07 1622
既然flume 操作 hdfs ， 就需要对应的jar，就要到hadoop安装目录下的share目录下查找 使用winscp软件将jar文件考本到windows本地桌面上 将上面jar文件拷贝到flume安装目录下的lib目录下 接下来写flume-hdfs.conf配置文件 切换到flume目录的job目录 cd /usr/local/flume/jo...
Flume监听kafka文件源写入hdfs
mrye的博客
09-01 495
环境准备 1，启动hdfs，zookeeper 2，kafka创建topic，并生产数据： bin/kafka-topics.sh --create --topic app_log --partitions 2 --replication-factor 2 --zookeeper linux01:2181 bin/kafka-console-producer.sh --broker-list linux01:9092 --topic app_log flume配置文件 配置文件路径在flum
Flume+Kafka整合
这个人很懒什么都没有留下
02-21 426
先使用kafka创建一个主题 kafka-topics.sh --create --zookeeper hadoop102:2181 --replication-factor 1 --partitions 1 --topic haha 进入flume目录conf文件下写入配置文件对接kafka的收集器 #起名字 a1.sources=r1 a1.channels=c1 a1.sinks=k1 #指定采集数据的来源 a1.sources.r1.type=netcat a1.sources.r1.bi
Flume跨服务器监控日志数据
qq_48959845的博客
03-17 4878
需求​：对于web项目单独所部署的服务器，每天都会产生大量的nginx日志文件，我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析，最后做出​可视化。 架构分析​： 第一步​：数据采集 从图中可以看出，我们分别再web服务器和slave1上部署Flume，再web服务器上agent的Source来源于nginx日志，经过channel传输到Sink，Sink将数据输出到slave1，Agent的Source，最终将数据上传到hdfs上​。 第二步​：部署Flume 之前写过Flume入
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值