windows系统flume数据传给kafka

最新推荐文章于 2024-10-11 18:05:32 发布
最新推荐文章于 2024-10-11 18:05:32 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 云计算、大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37847641/article/details/81097144
版权
本文介绍了如何在Windows系统上配置Flume将数据传输到Kafka。首先，详细讲述了安装Zookeeper的步骤，包括设置环境变量和配置zoo.cfg。接着，讲解了启动Kafka服务和创建Topic的操作。最后，指导如何启动Kafka的生产者和消费者进行数据的发送与接收。
摘要由CSDN通过智能技术生成

1、安装zookeeper

更改flume配置为kafka

# Describe the sink
# a1.sinks.k1.type = logger
 # 指定Flume sink
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = test
a1.sinks.k1.kafka.bootstrap.servers =172.22.20.59:9092
a1.sinks.k1.kafka.flumeBatchSize = 100
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy
 a.系统变量中添加ZOOKEEPER_HOME=E:\dashuju\zookeeper-3.5.4-beta

 b.编辑系统变量中的path变量，增加%ZOOKEEPER_HOME%\bin

conf 添加文件 zoo.cfg

# The number of milliseconds of each tick  心跳间隔 毫秒每次

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting anacknowledge

最低0.47元/天 解锁文章
大数据之Kafka———Flume日志系统写入kafka
ycz926940的博客
07-06 850
3.启动ag 其中有三个组件Source(监管当前机器的端口)，Channel（进行分流），Sink（进行输出内容）（端口启动后可以在端口中输入内容 可以在上面启动的kafka里查看到）1./opt/events/data文件下的users.csv。2.连接好端口可以在端口输入内容由 ng进行处理。4.通过Sink将数据写到kb22在启动消费者。1.通过Telnet 方式连接当前机器的端口。如果端口启动不了查看一下端口是否被占用。5.将文件拷贝到监控目录下。# 4. 配置sink。3.创建队列 生产者。
flume采集日志数据到kafka缓存数据
chengxuxiaobai1108的博客
02-07 1605
=============== 一 前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、 结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架， flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一...
本地文件到通过flume到kafka
weixin_34351321的博客
01-13 141
配置文件 cd /usr/app/flume1.6/conf vi flume-dirKakfa.properties #agent1 name agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory #set source1 agent1.sources.source1.ty...
Flume传输数据给Kafka
普通Gopher
09-18 2172
Flume Flume是一个海量日志采集、聚合和传输的日志收集系统。 Kafka是一个可持久化的分布式的消息队列。 由于采集和处理数据的速度不一定同步，所以使用Kafka这个消息中间件来缓冲，如果你收集了日志后，想输出到多个业务方也可结合Kafka，Kafka支持多个业务来读取数据。 上图中Kafka生产的数据，是由Flume提供的，这里我们需要用到Flume集群，通过Flume集群将Agent的...
flume导入文件到Kafka
w_mchen的博客
12-27 1111
flume导入文件到Kafka 创建新主题存放此次消息 kafka-topics.sh --create --zookeeper 192.168.153.133:2181 --topic train_row --partitions 1 --replication-factor 1 配置flume文件，执行 flume-ng agent --name events --conf /opt/soft/flume160/conf/ --conf-file/opt/soft/flume160/conf..
Flume-Kafka
最新发布
NJH00的博客
10-11 685
其中包括 Source‌、Channel、Sink‌‌。‌：源和接收器之前的管道，接收 Source 的数据转发给 Sink，临时数据存储。从 Channel 中读取数据，并存入外部存储系统或转发到下一个Source‌‌。是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。每个文件只读取一遍，读取完成文件后缀增加标识。‌：一个JVM进程，以事件的形式将数据从源头传输到目的地。‌：数据收集组件，读取外部数据存储到Channel。
从flume到kafka，日志收集
weixin_30752699的博客
02-29 105
实时日志分析： 本篇文章主要测试 从flume到kafka的日志收集，storm日志分析，学习中！ flume 配置文件 #collector collector.sources=cs collector.sinks=ck hbaseSink collector.channels=cc hbaseChannel collector.sources.cs...
flume消费kafka出现的问题及解决方法
阿啄debugIT
02-02 2957
一、flume消费kafka的agent数量问题 flume消费kafka到本地HDFS时不要使用太多主机和agent进程（一个agent），特别是MLTE_S6A_FS和2G数据的CITY_SHARE_GBIUPS_FS数据量比较小的topic(目前佛山集群使用5个agent进程，总共有15分partition)，如果太多agent消费会导致很多小文件。s6a一个小时有20多G，属于比较少的数...
实时分析Flume-Kafka框架搭建最终将数据在mysql中输出
橙以的博客
12-27 1102
因为搭建框架比较复杂如果这其中有不足，欢迎提出指正。下面附上实时分析简化框架图帮助理解。 把离线分析框架也附上 实时分析搭建过程： 1.在命令提示符中（Windows+R）找到准备好的SocketTest.java路径，javac SocketTest.java运行后生成SocketTest.class文件（运行前将SocketTest.java中包名删除） 将.class文件...
Flume读取数据写入Kafka消息队列中
zp17834994071的博客
08-12 3002
前面已经给大家讲过flume和Kafka的简介以及安装，今天就给大家讲讲二者如何关联使用。 本文主要就是讲解如何使用flume采集日志信息后把数据写入kafka中，由于时间关系，这里就暂时用伪数据，把存放伪数据的文件放到专门用于flume监听文件的目录中就是前面提到过的/opt/soft/datas下。 1.配置flume 先新建配置文件用于关联kafka 还是在/opt/flumeconf下创建properties文件，并添加以下配置 cd /opt/flumeconf vi conf_0812_kaf
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume到Kafka
菜鸟也学大数据的博客
12-08 197
Kafka创建Topic 创建Topic：fk_raw kafka-topics.sh --create --zookeeper 192.168.**.**:2181 --topic fk_raw --partitions 1 --replication-factor 1 Flume创建agent 在flume/conf目录下创建：vi /opt/flume/conf/fk.conf 输入以下内容 #定义sources名称 fk.sources=fkSource #定义channels名称 fk.
Flume到kafka
m0_63449353的博客
11-16 565
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F -n +0 /opt/module/flume-1.7.0/data.csv a1.sources.r1.shell = /bin/bash -c # Desc.
Flume与Kafka对接
qq_61809177的博客
04-17 1544
Flume组件： agent source channel sinkkafka组件：节点集群服务器 **consumer **
Flume对接Kafka
qq_61809177的博客
04-17 1125
Flume对接KafkaFlume组件： agent source channel sinkkafka组件：节点集群服务器 **consumer **
Flume 对接 Kafka
song_quan_的博客
11-22 653
1）配置 flume(flume-kafka.conf) 2） 启动 kafkaIDEA 消费者 3） 进入 flume 根目录下，启动 flume $ bin/flume-ng agent -c conf/ -n a1 -f jobs/flume-kafka.conf 4） 向 /opt/module/data/flume.log 里追加数据，查看 kafka 消费者消费情况 $ echo hello >> /opt/module/data/flume.log..
（09）数仓-采集日志flume（写入kafka）
song_quan_的博客
06-25 435
（1）flume （2）flume安装 资源分配 （3）flume组件选型 （1）Taildir Source 相比 Exec Source、Spooling Directory Source 的优势 TailDir Source：断点续传、多目录。Flume1.6 以前需要自己自定义 Source 记录每次读 取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在 Flume 不运行或者 Shell 命令出错的情况下，数 据将会丢失。 Spooli
flume对接kafka：
real的博客
09-10 104
1.依次在hadoop15、 hadoop16、 hadoop17节点上启动 kafka bin/kafka-server-start.sh -daemon config/server.properties 2.创建 topic bin/kafka-topics.sh --zookeeper hadoop15:2181 --create --replication-factor 3 --partitions 1 --topic first 3.编写配置文件 vim flume-kafka.conf
Flume（三）Flume 整合 Kafka
weixin_42073629的博客
10-07 283
一、背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值数据的冲击。 二、整合流程 Flume 发送数据到 Kafka 上主要是通过KafkaSink来实现的，主..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值