java对接kafka,Java API方式调用Kafka各种协议的方法

众所周知，Kafka自己实现了一套二进制协议(binary protocol)用于各种功能的实现，比如发送消息，获取消息，提交位移以及创建topic等。具体协议规范参见：Kafka协议  这套协议的具体使用流程为：

1.客户端创建对应协议的请求

2.客户端发送请求给对应的broker

3.broker处理请求，并发送response给客户端

虽然Kafka提供的大量的脚本工具用于各种功能的实现，但很多时候我们还是希望可以把某些功能以编程的方式嵌入到另一个系统中。这时使用Java API的方式就显得异常地灵活了。本文我将尝试给出Java API底层框架的一个范例，同时也会针对“创建topic”和“查看位移”这两个主要功能给出对应的例子。 需要提前说明的是，本文给出的范例并没有考虑Kafka集群开启安全的情况。另外Kafka的KIP4应该一直在优化命令行工具以及各种管理操作，有兴趣的读者可以关注这个KIP。

本文中用到的API依赖于kafka-clients，所以如果你使用Maven构建的话，请加上：

如果是gradle，请加上：

底层框架

有了这些方法的铺垫，我们就可以创建具体的请求了。

创建topic

查看位移

okay, 上面就是“创建topic”和“查看位移”的样例代码，各位看官可以参考着这两个例子构建其他类型的请求。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：http://www.cnblogs.com/huxi2b/p/6508274.html