try {
// 发送消息
Future send = producer.send(new ProducerRecord<>(“demo-topic”, data));
RecordMetadata recordMetadata = send.get();
System.out.println(recordMetadata);
} catch (Exception e) {
e.printStackTrace();
}
}
// 2 异步发送消息 回调callback()
for (int i = 0; i < 10; i++) {
String data = "callback : " + i;
// 发送消息
producer.send(new ProducerRecord<>(“demo-topic”, data), new Callback() {
@Override
public void onCompletion(RecordMetadata metadata, Exception exception) {
// 发送消息的回调
if (exception != null) {
exception.printStackTrace();
} else {
System.out.println(metadata);
}
}
});
}
producer.close();
}
}
Consumer端demo代码:
package kafka;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
public class Consumer {
public static void main(String[] args) {
Properties properties = new Properties();
//bootstrap.servers kafka集群地址 host1:port1,host2:port2 …
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, “127.0.0.1:9092”);
// key.deserializer 消息key序列化方式
properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
// value.deserializer 消息体序列化方式
properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
// group.id 消费组id
properties.put(ConsumerConfig.GROUP_ID_CONFIG, “demo-group”);
// enable.auto.commit 设置自动提交offset
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
// auto.offset.reset
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, “earliest”);
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
String[] topics = new String[]{“demo-topic”};
consumer.subscribe(Arrays.asList(topics));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
System.out.println(record);
}
}
}
}
Libkafka examples:
https://github.com/edenhill/librdkafka/tree/master/examples
可能会用到Python的kafka客户端:
https://github.com/Parsely/pykafka
安装pykafka客户端模块
$ pip install pykafka
初始化客户端对象
from pykafka import KafkaClient
client = KafkaClient(hosts=“127.0.0.1:9092,127.0.0.1:9093,…”)
TLS(https连接)
from pykafka import KafkaClient, SslConfig
config = SslConfig(cafile=‘/your/ca.cert’,
… certfile=‘/your/client.cert’, # optional
… keyfile=‘/your/client.key’, # optional
… password=‘unlock my client key please’) # optional
client = KafkaClient(hosts=“127.0.0.1:,…”,
… ssl_config=config)
监听topic
client.topics
topic = client.topics[‘my.test’]
往topic发送消息,这里是同步发送的,需要等待消息确认才能发送下一条
with topic.get_sync_producer() as producer:
… for i in range(4):
… producer.produce('test message ’ + str(i ** 2))
为了提高吞吐量, 推荐Producer采用异步发送消息模式 ,produce()函数被调用后会立即返回
with topic.get_producer(delivery_reports=True) as producer:
… count = 0
… while True:
… count += 1
… producer.produce(‘test msg’, partition_key=‘{}’.format(count))
… if count % 10 ** 5 == 0: # adjust this or bring lots of RAM 😉
… while True:
… try:
… msg, exc = producer.get_delivery_report(block=False)
… if exc is not None:
… print ‘Failed to deliver msg {}: {}’.format(
… msg.partition_key, repr(exc))
… else:
… print ‘Successfully delivered msg {}’.format(
… msg.partition_key)
… except Queue.Empty:
… break
Consumer消费topic里的消息
consumer = topic.get_simple_consumer()
for message in consumer:
… if message is not None:
… print message.offset, message.value
0 test message 0
1 test message 1
2 test message 4
3 test message 9
负载均衡的Consumer-BalancedConsumer
balanced_consumer = topic.get_balanced_consumer(
… consumer_group=‘testgroup’,
… auto_commit_enable=True,
… zookeeper_connect=‘myZkClusterNode1.com:2181,myZkClusterNode2.com:2181/myZkChroot’
… )
PyKafka里面含有C扩展库,可以使用librdkafka来加速Producer和Consumer的一些操作。
-
下一步就可以尝试修改样例代码尝试去理解并使用其他的API,之后观测修改样例代码后的执行结果。如果这些都难不倒我们,接着就可以自己编写一个小型项目来验证下学习成果,然后就是改善和提升客户端的可靠性和性能了。到了这一步,后面就可以熟读一遍Kafka官网文档,确保理解了那些可能影响可靠性和性能的参数。
-
最后是学习Kafka的高级功能,比如流处理应用开发。流处理 API 不仅能够生产和消费消息,还能执行高级的流式处理操作,比如时间窗口聚合、流处理连接等。
对于一个系统管理员或运维工程师,相应的学习目标应该是学习搭建及管理Kafka线上环境。如何根据实际业务需求评估、搭建生产线上环境将是主要的学习目标。另外对生产环境的监控也是重中之重的工作,Kafka 提供了超多的JMX监控指标,可以选择任意熟知的框架进行监控,比如Kafka-Eagle。
https://github.com/smartloli/kafka-eagle
Kafka需要掌握的核心内容
==================
- 消息引擎这类系统大致的原理和用途,以及作为优秀消息引擎代表的Kafka在这方面的表现。
- Kafka如何用于生产环境,特别是线上环境方案的制定。
- Kafka客户端的方方面面,包含生产者和消费者原理与实践。
- Kafka最核心的设计原理,包括Controller的设计机制、请求处理全流程解析等。
- Kafka运维与监控的内容,高效运维Kafka集群以及有效监控Kafka的实战
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
Java面试核心知识点笔记
其中囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。
Java中高级面试高频考点整理
最后分享Java进阶学习及面试必备的视频教学
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
Java面试核心知识点笔记
其中囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。
[外链图片转存中…(img-O0Spar6h-1713628011817)]
Java中高级面试高频考点整理
[外链图片转存中…(img-lGmtYiTi-1713628011817)]
[外链图片转存中…(img-FicXSLjG-1713628011817)]
最后分享Java进阶学习及面试必备的视频教学
[外链图片转存中…(img-C66Oprey-1713628011817)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!