kafka Java API开发问题记录

最新推荐文章于 2021-08-19 11:23:44 发布
最新推荐文章于 2021-08-19 11:23:44 发布
阅读量881 收藏
点赞数
分类专栏： MQ 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23146763/article/details/80500307
版权

一、producer 发送消息异常

2018-05-29 17:43:14,153 DEBUG [org.apache.kafka.clients.NetworkClient] - Error connecting to node 273 at hadoop03:9092:
java.io.IOException: Can't resolve address: hadoop03:9092
    at org.apache.kafka.common.network.Selector.connect(Selector.java:182)
    at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:629)
    at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:186)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:184)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:126)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.nio.channels.UnresolvedAddressException
    at sun.nio.ch.Net.checkAddress(Net.java:101)
    at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)
    at org.apache.kafka.common.network.Selector.connect(Selector.java:179)
    ... 5 more

解决方案：
在开发环境的hosts文件中添加解析

192.168.17.13 hadoop03
192.168.17.14 hadoop04
192.168.17.15 hadoop05
lishengping_max
关注
专栏目录
Kafka API实战
悦分享
09-05 244
消息队列内部实现原理：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。
kafka>kafka的JavaAPI操作
qq_44509920的博客
04-05 883
文章目录1、创建maven工程并添加jar包2、生产者代码1、使用生产者，生产数据2、kafka当中的数据分区3、消费者代码1、自动提交offset2、手动提交offset3、消费完每个分区之后手动提交offset4、指定分区数据进行消费5、重复消费与数据丢失6、consumer消费者消费数据流程4、kafka Streams API开发第一步：创建一个topic第二步：开发StreamAPI第三...
Kafka Java API
qq_43502858的博客
07-21 414
文章目录Kafka Java API准备工作1.使用Java API操作Topic2.使用Java API创建生产者，并向指定主题推送数据3.使用Java API创建消费者，并从指定主题拉取数据 Kafka Java API 准备工作 （1）创建Maven项目，导入相关依赖 <dependencies> <dependency> ...
kafka java 开发 api_kafka java api消费者
weixin_36294980的博客
02-17 75
import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaS...
kafka java api
echo的博客
05-07 474
kafka java api生产者package com.wxa.storm.kafka; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import java.util.Properties; import ja...
kafka java(api)
weixin_46415189的博客
08-19 1319
前提 在看javaapi演示前你需要了解一些kafka的概念: 1: 至少要会启动 kafka,知道默认端口号,可参看此博客链接: https://blog.csdn.net/weixin_46415189/article/details/119749267 kafka依赖zookeeper,所以,在此之前你最好先了解一下zookeeper,至少会启动 kafka启动时server.properties默认zookeeper地址配置为: 2: kafka只有主题,通过主题发送和订阅消息 3: kafk
kafka的api使用时需要的jar包
04-19
在使用Apache Kafka的API进行开发时，正确地引入所需依赖是至关重要的。Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用。它提供了丰富的Java和Scala API，使得开发者可以方便地创建生产者、消费者...
kafka java maven例子
05-28
在Java开发环境中，Apache Kafka是一个广泛使用的分布式流处理平台，它允许开发者构建实时数据管道和流应用程序。这个“kafka java maven例子”是针对初学者的一个很好的起点，旨在帮助理解如何使用Java和Maven来...
Java实现Kafka生产者消费者代码实例
08-19
在Java中实现Kafka的生产者和消费者，需要依赖Kafka提供的客户端库。Maven项目中通常需要在pom.xml文件中加入kafka-clients依赖，如下： ```xml <groupId>org.apache.kafka <artifactId>kafka-clients ...
Kafka消息队列安装与使用（三）
木讷的鱼
10-22 459
Kafka消息队列安装与使用（三）四. Kafka API的使用4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送 API4.1.3 同步发送 API4.2 Consumer API4.2.1 自动提交 offset4.2.2 手动提交 offset4.2.3 自定义存储 offset 四. Kafka API的使用 4.1 Producer API 4.1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程—
Kafka之JavaAPI
大数据跟我学i
03-28 177
文章目录生产者消费者 生产者 /* *kafka程序生产者 * 它会将消息创建出来，并发送到Kafka集群中 * */ public class kafkaProducerTest { public static void main(String[] args) throws ExecutionException, InterruptedException { //1.创建用于连接Kafka的Properties配置 Properties props = new Pr
Kafka——javaAPI
zl13101758272的博客
07-22 368
文章目录Kafka的JavaAPI1.未整合版的Kafka的API1.1 Producer 消息发送端代码1.2 Consumer 消息消费端代码2.Spring Boot整合Kafka2.1 发送者代码(Producer)2.2 发送者代码(Consumer) Kafka的JavaAPI 针对java程序员来说，必定是在代码中对kafka进行操作。 1.未整合版的Kafka的API <dependency> <groupId>org.apache.kafka</grou
Kafka的API-Java篇
h_big_tiger的博客
08-12 518
上一篇文章已经将Kafka的服务配置分享了一遍，这篇主要是将java的API分享一波。 Kafka有四个核心API： Producer API ：允许应用程序发送数据流到kafka集群中的topic。 Consumer API ：允许应用程序从kafka集群的topic中读取数据流。 Streams API ：允许从输入topic转换数据流到输出topic。 Connect API：通过实现连接...
Kafka Java API 简单使用
DJH2717的博客
03-01 501
生产者 注意点: 可以使用消息的同步发送和异步发送, send 方法返回的是一个 future 对象, 可以使用 get 进行阻塞等待返回. 或传入 callBack 方法进行异步回调. 可以在创建 record 的时候指定分区, 如果不指定, 则使用默认的负载均衡分配分区. import org.apache.kafka.clients.producer.KafkaProducer; imp...
java kafka api_kafka java API的使用
weixin_28928727的博客
02-12 275
Kafka包含四种核心的API:1、ProducerAPI支持应用将数据流发送到Kafka集群的主题2、ConsumerAPI支持应用从Kafka集群的主题中读取数据流3、StreamsAPI支持数据流从输入主题转化到输出主题4、ConnectAPI支持实现持续地从一些源系统或应用划入Kafka或者从Kafka推入一些源系统或应用的接口。我们这里主要讨论ProducerAPI和Consu...
kafka java api示例_Kafka Java API 简单使用
weixin_39629129的博客
02-17 103
生产者注意点:可以使用消息的同步发送和异步发送, send 方法返回的是一个 future 对象, 可以使用 get 进行阻塞等待返回. 或传入 callBack 方法进行异步回调. 可以在创建 record 的时候指定分区, 如果不指定, 则使用默认的负载均衡分配分区.import org.apache.kafka.clients.producer.KafkaProducer;import or...
Java调用Kafka API详解与实战教程
在Java中调用Apache Kafka API是一项基础且重要的任务，尤其对于构建分布式消息传递系统至关重要。这篇博客文章旨在为已经搭建好Kafka环境的开发者提供详细的指南，以便他们能够有效地与Kafka进行交互。文章分为五个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值