Kafka（3）scala API、kafka producer and consumer、偏移量

最新推荐文章于 2024-04-14 11:13:55 发布
最新推荐文章于 2024-04-14 11:13:55 发布
阅读量188 收藏
点赞数
分类专栏： 中文 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43508211/article/details/108380585
版权

代码较多，暂时没组织好。

更多资料大数据资料请关注公众账号codergang，以及作者个人微信DGCloud1991获取。

刚哥的大数据之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink 读取 kafka (DataStream API scala 源码)
06-29
flink 读取 kafka (DataStream API scala 源码)
Scala调用Kafka的生产者和消费者Demo，以及一些配置参数整理
qq_41676216的博客
07-14 761
Scala调用Kafka的生产者和消费者Demo，以及一些配置参数整理 kafka简介 Kafka是apache开源的一款用Scala编写的消息队列中间件，具有高吞吐量，低延时等特性。 Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。 无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系
Scala连接Kafka创建生产者与消费者
最新发布
qq_62792484的博客
04-14 155
Kafka的消费者与生产者创建（scala）版
scala多线程写kafka生产者和消费者
liutao3233的博客
11-26 439
kafka scala
Kafka producer(scala版)
lmalds的专栏
07-01 1万+
kafka scala
Scala实现Kafka的producer
知否技术的博客
11-29 871
package kafka import java.util.Properties import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} object KafkaProducer { def producerSendMsg()={ //连接kafka的配置文件 val props =
Springboot集成Kafka实现producer和consumer的示例代码
08-27
主要介绍了Springboot集成Kafka实现producer和consumer的示例代码，详细的介绍了什么是Kafka和安装Kafka以及在springboot项目中集成kafka收发message，感兴趣的小伙伴们可以参考一下
kafka kafka与sparkStreaming kafka与Scala
03-24
kafka kafka与sparkStreaming kafka与Scala
Python-kafka集群搭建PythonAPI调用Producer和Consumer
08-12
kafka集群搭建，开启sasl认证，并通过Python调用Producer和Consumer
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
kafka学习笔记 --- Scala实现Kafka producer 和 consumer
热门推荐
杨鑫newlife的专栏
07-06 1万+
kafka学习笔记 --- Scala实现Kafka producer 和 consumer
Kafka-Producer(Java & Scala)
_衷愉的博客
01-04 307
Kafka-Java APIMaven依赖配置类生产者测试类 本文使用java api来实现 kafka生产者，组合服务器消费者 Maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clie...
Kafka Scala Producer API
zwt0909的博客
06-28 2261
Kafka Scala Producer API官方example： https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example构造Producer构造一个kafka.javaapi.producer.Producer<K, V>对象,K:分区key类型，V：消息类型Properties props = new
scala操作kafka
王冬的csdn
01-21 1167
创建sbt eclipse 项目 详情请参考：https://blog.csdn.net/weixin_44122028/article/details/103881508 加入kafka依赖 name := "FirstKafka4Sbt" scalaVersion := "2.11.11" autoScalaLibrary := false organization := "com.tl...
java,scala读写kafka操作
JasonLee实时计算
07-27 7365
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧; java版本: package com.cn.kafka; import java.util.Arrays; import java.util.HashMap; import java.util.Map; import java.util.Properties; i...
Spark Streaming 之 Kafka 偏移量管理
weixin_33859504的博客
12-24 450
本文主要介绍 Spark Streaming 应用开发中消费 Kafka 消息的相关内容，文章着重突出了开发环境的配置以及手动管理 Kafka 偏移量的实现。 一、开发环境 1、组件版本 CDH 集群版本：6.0.1 Spark 版本：2.2.0 Kafka 版本：1.0.1 2、Maven 依赖 &lt;!-- scala --&gt; &lt;dependency&gt; &lt;gr...
获取kafka最新offset-scala
weixin_30301449的博客
12-31 228
无论是在spark streaming消费kafka，或是监控kafka的数据时，我们经常会需要知道offset最新情况 kafka数据的topic基于分区，并且通过每个partition的主分区可以获取offset的最新情况 GetOffsetShellWrap //这是对kafka自带工具包的扩展object GetOffsetShellWrap { //在...
Kafka 生产者和消费者 demo (java&scala)
zhumingyuan111的博客
06-30 8796
前几天完成了kafka ubuntu单机的搭建，后来就尝试写写kafka的简单代码，网上也有很多例子，但是如果自己编写运行还是有一些坑在里面，我也简单记录以下自己遇到的问题。
Scala 操作Kafka
技术札记
05-12 3113
Spark支持Kafka 网上这块资料比较多，不再赘述 1.spark-streaming-kafka-0-8_2.11-2.1.0.jar 2.kafka 的jar 包 3.jar存放路径 spark/jars/kafka 生产者 import org.apache.spark.streaming.kafka._ import org.apache.kafka.clients.pro...
请给出kafka的producer和consumer代码
04-23
好的，以下是Kafka的Producer和Consumer代码示例（使用Java语言）： Producer代码示例： ```java import org.apache.kafka.clients.producer.*; import java.util.Properties; public class KafkaProducerExample { public static void main(String[] args) { String topicName = "test-topic"; // 指定topic名称 Properties props = new Properties(); // 创建Properties对象 props.put("bootstrap.servers", "localhost:9092"); // 指定Kafka Broker地址 props.put("acks", "all"); // 指定Producer写入的确认方式 props.put("retries", 0); // 如果发送失败，Producer重新发送的次数 props.put("batch.size", 16384); // 批处理大小 props.put("linger.ms", 1); // 等待时间，如果数据达到batch.size就不等待 props.put("buffer.memory", 33554432); // 缓冲区大小 // 创建Producer对象 Producer<String, String> producer = new KafkaProducer<>(props); // 发送数据 for (int i = 0; i < 10; i++) producer.send(new ProducerRecord<>(topicName, Integer.toString(i), Integer.toString(i))); System.out.println("Message sent successfully"); producer.close(); } } ``` Consumer代码示例： ```java import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.TopicPartition; import java.util.Arrays; import java.util.Properties; public class KafkaConsumerExample { public static void main(String[] args) { String topicName = "test-topic"; // 指定topic名称 String groupName = "test-group"; // 指定consumer group名称 Properties props = new Properties(); // 创建Properties对象 props.put("bootstrap.servers", "localhost:9092"); // 指定Kafka Broker地址 props.put("group.id", groupName); // 指定consumer group props.put("enable.auto.commit", "true"); // 是否自动提交offset props.put("auto.commit.interval.ms", "1000"); // 自动提交offset的时间间隔 props.put("session.timeout.ms", "30000"); // session超时设置 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // key反序列化器 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // value反序列化器 // 创建Consumer对象 KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); // 订阅topic consumer.subscribe(Arrays.asList(topicName)); // 循环读取消息 while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord<String, String> record : records) { System.out.println("offset = " + record.offset() + ", key = " + record.key() + ", value = " + record.value()); // 手动提交offset TopicPartition tp = new TopicPartition(record.topic(), record.partition()); OffsetAndMetadata oam = new OffsetAndMetadata(record.offset(), "no metadata"); consumer.commitSync(Arrays.asList(new OffsetCommitRequest.TopicAndPartition[]{new OffsetCommitRequest.TopicAndPartition(tp, oam)})); } } } } ``` 希望这个代码示例对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值