使用kafka作为生产者生产数据到hdfs(单节点）

最新推荐文章于 2022-10-30 10:17:49 发布
最新推荐文章于 2022-10-30 10:17:49 发布
阅读量91 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/pingzizhuanshu/p/9102602.html
版权

关键：查看kafka官网的userguide

agent.sources = kafkaSource
agent.channels = memoryChannel
agent.sinks = hdfsSink

agent.sources.kafkaSource.type = org.apache.flume.source.kafka.KafkaSource
agent.sources.kafkaSource.zookeeperConnect = 192.168.57.11:2181
agent.sources.kafkaSource.topic = test_pan
agent.sources.kafkaSource.groupId = test-consumer-group
agent.sources.kafkaSource.kafka.consumer.timeout.ms = 100

agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity=100
agent.channels.memoryChannel.transactionCapacity=100

agent.sinks.hdfsSink.type = hdfs
agent.sinks.hdfsSink.hdfs.path = hdfs://beicai/test/pan
agent.sinks.hdfsSink.hdfs.writeFormat = Text
agent.sinks.hdfsSink.hdfs.fileType = DataStream


agent.sinks.hdfsSink.hdfs.rollSize = 1024
agent.sinks.hdfsSink.hdfs.rollCount = 0
agent.sinks.hdfsSink.hdfs.rollInterval = 60

agent.sinks.hdfsSink.hdfs.filePrefix=test
agent.sinks.hdfsSink.hdfs.fileSuffix=.data

agent.sinks.hdfsSink.hdfs.inUserPrefix=_
agent.sinks.hdfsSink.hdfs.inUserSuffix=
agent.sinks.hdfsSink.hdfs.fileType = DataStream
agent.sinks.hdfsSink.hdfs.writeFormat = TEXT
agent.sinks.hdfsSink.hdfs.rollInterval = 1
agent.sinks.sink1.hdfs.filePrefix =A

agent.sources.kafkaSource.channels = memoryChannel
agent.sinks.hdfsSink.channel = memoryChannel

转载于:https://www.cnblogs.com/pingzizhuanshu/p/9102602.html

你狗
关注
大数据NiFi（二十二）：Kafka中数据实时导入到HDFS中
Lansonli（蓝深李）的博客
02-28 1016
连接后，并设置“PutHDFS”处理器“failure”和“success”路由关系为自动终止。此案例使用到“ConsumerKafka_1_0”和“PutHDFS”处理器。“ConsumerKafka_1_0”处理器可以将消费Kafka中的数据。案例：向Kafka某个topic中写入数据，实时导入到HDFS文件中。逗号分割的Kafka集群Broker列表。格式：host:port。Kafka topic名称，多个可以使用逗号分隔。设置读取Kafka topic数据的位置。
【采集项目-（5)将Kafka的数据采集到hdfs】
Tonystark_lz的博客
10-09 1346
【采集项目-（5)将Kafka的数据采集到hdfs】
StructedStreaming消费Kafka数据突然存储不到HDFS
erainm
03-14 2666
问题描述： StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。 分析：通过流写出到控制台，能消费数据，说明消费正常，但是就是写不进HDFS中，说明写时不能触发HDFS保存。 /** * 消费数据，写到控制台 */ val query = spark.sql(sql) .writeStream .format("console") .outputMode("append") .start
flume消费kafka数据到hdfs 报错 native-lzo library not available 解决方案
Kk_is_me的博客
06-19 1104
flume消费kafka数据到hdfs 报错 native-lzo library not available 解决方案说明下载的安装包一律放在 /opt/software/ 目录下1.验证安装环境（以root账户执行）：>>>记得换root登录2.安装LZO (以下以atguigu用户执行)>>>记得换atguigu登录接下来几行 每台机器都照做3.安装LZOP接下来几行 每台机器都照做4.把lzop复制到/usr/bin/5.将 hadoop-lzo-0.4.20放到
从kafka里面读取存到hdfs
qq_42506914的博客
03-22 4408
方法一：自己写程序，从kafka里面消费，写到hdfs上面，但是注意idea工具maven kafka的依赖版本要和虚拟机里的kafka版本对上； <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11&lt...
消费flume的数据无法上传到HDFS
最新发布
weixin_43955488的博客
10-30 1624
消费flume的数据无法上传到HDFS
Kafka到Hdfs的数据Pipeline整理
易水寒
03-06 3187
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 1> Kafka -> Flume –> Hadoop Hdfs 常用方案,基于配置,需要注意hdfs小文件性能等问题. GitHub地址:  https://github.com/apache/f
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
6. **Kafka生产者与消费者测试**： - 启动生产者：`kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic`。 - 启动消费者：`kafka-console-consumer.sh --bootstrap-server localhost:...
kafka connect，将数据批量写到hdfs完整过程
zzzzMing -大数据/数据分析/数据挖掘
09-24 1526
本文是基于hadoop 2.7.1，以及kafka 0.11.0.0。kafka-connect是以单节点模式运行，即standalone。 一. kafka和kafka connect简介 kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。比较直观的解释就是其有一个生产者（producer）和一个消费者（consumer）。可以将kafk...
MySql准实时同步数据到HDFS(单机版).docx
09-10
2. **Maxwell到Kafka**: Maxwell将捕获的MySQL变更事件发送到Kafka，Kafka作为一个高吞吐量的分布式消息系统，可以作为数据流的中间层，确保数据传输的可靠性和可扩展性。 3. **Kafka到Flume**: Flume是Apache的一...
解决flume采集日志使用KafkaChannel写不到hdfs的问题
JiaXingNashishua的博客
08-02 2116
重点，我就是这里出错了）然后将这个jar包放到hadoop104的/opt/module/flume/lib文件夹下面，然后分发给hadoop102,hadoop103中。检查一下消费flume所在的集群，也就是hadoop104中的/opt/module/flume/conf目录下的kafka-flume-hdfs.conf文件。附（抛出一下异常，说明你的消费flume内存不够，只要修改配置就可以了）这里，大家的包名可能不一样，根据自己创建的包名进行修改即可。最后，重新启动一下集群，就可以了。...
使用Flume消费Kafka数据到HDFS (亲测好用)
song_quan_的博客
12-21 6387
1.概述 对于数据的转发，Kafka是一个不错的选择。Kafka能够装载数据到消息队列，然后等待其他业务场景去消费这些数据，Kafka的应用接口API非常的丰富，支持各种存储介质，例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic，也是有组件可以去集成消费的。下面笔者将为大家介绍如何使用Flume快速消费Kafka Topic数据，然后将消费后的数据转发到HDFS上。 2.内容 在实现这套方案之间，可以先来看看整个数据的流向，如下图所示： 业务数据
flume实时接收kafka消息并保存至HDFS
小明
11-10 5888
#-------agent------ # 定义sources agent.sources = kafkaSource # 定义channels agent.channels = memoryChannel # 定义sinks agent.sinks = hdfsSink agent.sources.kafkaSource.channels = memoryC
Flume监听文件目录sink至hdfs配置
雲的博客
07-22 561
一：flume介绍         Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。 二：配置文件     此配置文件source为一个目录，注意
Flume中关于HDFS的sink配置
weixin_34041003的博客
04-24 128
2019独角兽企业重金招聘Python工程师标准>>> ...
flume接收kafka数据存储到hdfs
寻找手艺人的专栏
02-12 5764
1、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁...
大数据项目一
Tomas_White的博客
10-23 268
具体流程 1.Nginx 产生格式化的日志信息，修改 /usr/local/nginx/conf/nginx.confw文件 log_format main '$remote_addr,$remote_user,$time_local';//日志产生的格式 access_log logs/log.frame.access.log main;//产生日志存放的位置 Ngin...
flume将kafka中的消息写入hdfs
qq_38344394的博客
09-10 1034
#bin/flume-ng agent -n agent -f conf/a3.conf -c conf -Dflume.root.logger=INFO,console #source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值