Kafka 学习笔记（十）之consumer写入file

最新推荐文章于 2022-08-11 21:51:43 发布
最新推荐文章于 2022-08-11 21:51:43 发布
阅读量2.9k 收藏
点赞数
分类专栏： kafka学习 文章标签： kafka kafka javaclient consumer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chuliuxiangjiao/article/details/46978289
版权
本文介绍如何在Kafka消费者接收到数据后将其写入文件。首先，通过编辑`/etc/vimrc`启用vi高亮显示。接着，创建一个名为FileWriterConsumer的Maven项目，并编写Java代码实现此功能。代码中引用了必要的依赖，并通过`maven install`进行构建。然后，创建并修改脚本`run_param.sh`以运行消费者，解决权限问题并指定参数，包括Zookeeper地址、topic名称、文件路径和超时时间。
摘要由CSDN通过智能技术生成

承接上一篇，我们在写好了producer之后，来写consumer

Consumer接到data之后，写入file中。

vi不显示高亮，不爽，改一下设置

vi /etc/vimrc

添加

syntax on 

新建了一个maven project FileWriterConsumer，建maven project方式参见本系列第一篇。

 vi  /root/kafka/kafka-examples/FileWriterConsumer/src/main/java/FileWriterConsumer/FileWriterConsumer.java

写code，参见前几篇moving average的pox ，把需要的dependency copy过来，到我们自己的project的pox中

然后maven install

新建一个脚本，run_param.sh来运行consumer，运行时候会显示permission denied，要修改一下运行权限，

chmod +x run_param.sh

 ./run_param.sh localhost:2181 avg interfacei /root/kafka/Copyinterfacei.traffic 120000

args[3] 我改成了要写入的文件的file path

代码贴出来：

/**
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * dist
最低0.47元/天 解锁文章
孙佳宇
关注
专栏目录
Kafka学习笔记
dw147258dw的专栏
06-07 616
4. 如果产生了消息积压，或者是吞吐量不够，可以通过增加主题的分区来解决，但是分区也不是越多越好，如果超过了一定的阈值，可能会导致不升反降，所以需要对硬件资源做一个吞吐量的测试，来找到一个合适的分区阈值区间，分区数过多也可能会导致leader宕机的时候不可用时间变得很长（选主过程）在均衡也可能会导致消息的重复消费。4. 可以根据seek方法进行消息回溯。1. kafka可以配置自动创建主题，如果收到一个未创建的主题消息，会自动创建默认分区数，默认副本数的主题，但是不推荐，推荐使用脚本创建。
kafka学习笔记 & 面经分享
最新发布
qq_45796208的博客
10-27 2274
本文结合尚硅谷kafka教学课程学习，总结kafka常见面试题及答案
大数据系列七：Storm实时流计算-滑动窗口（Kafka to File）
dustzhu的博客
06-26 567
一.前言 Storm安装配置没有使用Hadoop，比较简单，网络相关介绍比较多，大概列下。 二.安装配置 2.1 tar -zxvf apache-storm-1.0.5.tar.gz 2.2 vi /etc/profile STORM_HOME=/mnt/data/software/storm PATH=PATH:PATH:PATH:STORM_HOME/bin 2.3 vi storm.yaml storm.zookeeper.servers: - “ipsnode1” - “ipsnode2” - “
Kafka 生产者消费者模式 写入/读取数据 [ 命令行/Java 代码 ]
张伯毅的专栏
09-11 5010
一.确认配置文件： 打开config/server.properties 文件，修改broker.id，listeners，port,log.dirs vi config/server.properties broker.id=0 listeners=PLAINTEXT://192.168.105.110:9092 port=9092 log.dirs=kafka-logs zo...
kafka consumer java_[Kafka] - Kafka Java Consumer实现(一)
weixin_31265295的博客
02-12 301
import kafka.api.*;importkafka.cluster.Broker;importkafka.common.ErrorMapping;importkafka.common.OffsetAndMetadata;importkafka.common.OffsetMetadataAndError;importkafka.common.TopicAndPartition;import...
从kafka消费数据，落地成指定数据格式的文件
qq_42863863的博客
09-14 1177
从指定的kafka消费数据，落地成指定的数据格式的文件
Kafka的简单介绍-刘宇
刘宇的博客
10-10 448
作者：刘宇。一、消息队列的介绍1、什么是消息队列2、消息队列的分类2.1、点对点(Peer-to-Peer)2.2、发布订阅(Pub/Sub)3、P2P和发布订阅的区别4、使用场景5、常见的消息系统二、Kafka的基本概念1、什么是Kafka2、四个核心API3、特点4、设计目标5、Kafka的核心概念。
菜鸟的Kafka完整入门学习笔记，修订一
5akura's Blog
09-01 3119
文章目录一、Kafka概述1.1、定义1.2、消息队列（MQ）1.2.1、传统应用场景——异步处理1.2.2、使用消息队列的优点1.2.3、消息队列的两种模式1.3、Kafka架构二、快速入门2.1、安装配置与部署2.2、Kafka命令行操作三、Kafka高级—架构深入3.1、Kafka运作流程及消息文件存储3.2、生产者3.2.1、数据分区存放策略3.2.2、数据可靠性保证3.2.3、ACK应答机制3.2.4、面向消费者保持消息一致3.2.5、消息交付语义以及幂等性3.3、消费者3.3.1、两种消费方式3
Kafka命令及相关参数解释
zggpdd的博客
08-18 6133
Kafka命令及相关参数解释 由于kafka是去中心化的架构，，所以需要在每台节点上启动kafka，且依赖于zookeeper，需要先启动zookeeper 启动kafka: kafka-server-start.sh -daemon /opt/modules/kafka_2.12-2.4.0/config/server.properties -daemon是后台启动的意思 创建一个新的topic： kafka-topics.sh --create --zookeeper hadoop01:2181,ha
C#kafka开发实例
04-11
Kafka 是一种高吞吐量 的分布式发布订阅消息系统，本实例利用C#开发，同步数据，亲测可用！
C#写入Kafka失败的问题
easyboot的专栏
05-27 282
我的程序在本地测试写入kafka是成功的，但是写入服务器的kafka就是失败的，发现服务器端kafka配置问题，按下图修改重新启动kafka OK
Kafka之Consumer使用与基本原理
cainiao1412的博客
05-18 9115
前置内容 Kafka生产者：juejin.cn/post/709417… Kafka Consumer基本概念：juejin.cn/post/709641… Java SDK 基本使用 Consumer就是负责从Kafka集群中消费消息数据的应用程序，自 Kafka 0.9 版本提供了Java版本的Consumer SDK供用户使用， Kafka官方支持的语言SDK较少，更多都是由第三方社区维护的SDK，如果需要使用对应语言的SDK，需要额外下载， 第三方库信息地址：docs.confluent
kafka系列四：consumer端开发
weixin_30853329的博客
06-10 128
　　上一篇介绍了producer端的开发，本篇介绍一下consumer端的开发。 一、consumer端示例程序开发 　　和开发producer端程序一样，首先检查pom文件是否有已经有kafka相关jar包依赖，如果没有，则需要在pom.xml中添加如下依赖: <!--kafka--> <dependency> <group...
Kafka入门（四）Consumer
楚景华
05-23 776
Consumer注意事项 ◆单个分区的消息 只能由ConsumerGroup中某个Consumer消费 ◆Consumer从Partition中消费消息 是顺序，默认从头开始消费 ◆单个ConsumerGroup会消费所有Partition中的消息 Consumer: Producer=>1:1/1:n 一个Producer不能对应同一个ConsumerGroup 多个Consumer 代码示例以及说明 package com.item.kafka.consumer; ...
KafkaConsumer-Kafka从入门到精通（十）
ke1ying的博客
08-11 2001
KafkaConsumer-Kafka从入门到精通（十）
（转）Kafka 消费者 Java 实现
PacosonSWJTU的博客
11-09 7409
转自： Kafka 消费者 Java 实现 - 简书应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（consumer group...https://www.jianshu.com/p/1f9e18e926f6据原文作者，以下内容总结自 《kafka权威指南》； 应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（
Kafka传输文件（字节数组）
upupfeng的博客
04-24 7057
使用Kafka以字节数组的形式传输文件 最近遇到解析大量小文件的需求，之前都是将文件放到HDFS，然后读取进行解析。 由于都是小文件且文件量很多，所以不想使用HDFS，于是采用Kafka来做中间件，效果还不错，特此分享。 原理是将文件以字节流的形式读入字节数组中，将字节数组发送到Kafka，供下游消费。 适用于海量小文件的处理。 实现 生产者 package com.upupfeng.kafka; import org.apache.kafka.clients.producer.KafkaProduc.
Kafka消息队列介绍、环境搭建及应用：C#实现消费者-生产者订阅
沐恩
09-26 9606
一：基于.net的常用类库 基于.net实现kafka的消息队列应用，常用的类库有kafka-net，Confluent.Kafka，官网推荐使用Confluent.Kafka，本文也是基于该库的实现，创建控制台应用程序。 二：生产者 生产者将数据发布到指定的主题，一般生产环境下的负载均衡，服务代理会有多个，BootstrapServers属性则为以逗号隔开的多个代理地址 /// ...
Kafka学习笔记：架构解析与核心概念
了解这些基础知识后，读者可以进一步深入学习Kafka的高级特性，如消费者协调机制、高可用性设置、消息传递语义等，以便更好地设计和使用Kafka系统。对于开发者而言，熟悉Kafka能够增强他们在大数据处理和实时流应用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值