Kafka pixy

为什么80%的码农都做不了架构师？>>>   

    上一篇看了confluent的rest proxy，还是略感麻烦，本篇尝试一个新的rest接口：kafka-pixy，作用和rest proxy一样，kafka-pixy是一个本地的具有自动管理consumer group功能的kafka HTTP代理，kafka-pixy隐藏了kafka客户端协议的复杂性，提供了一个HTTP API接口来实现客户端交互。kafka-pixy可以和kafka 0.8.2和0.9.0一起使用，但是我测试也可以和0.10.0一起使用，kafka-pixy使用kafka offset commit/fetch api来和系统交互

本次我们主要使用kafka pixy，当然底层的broker也是使用confluent的kafka组件。

测试平台：

    实验平台：CentOS release 6.7 (Final)

    kafka版本：confluent-kafka-2.11-0.10.1.0-1

    kafka pixy：0.11-1

API接口

    produce：

        POST /topics/<topic>/messages?key=<key>

        提交消息到指定的topic，用指定的key的hash决定数据存储在哪个partition上面，消息内容类型支持 “text/plain” 或者  “application/json”，默认消息提交到kafka是异步的，可以指定sync参数来同步提交数据。

    consume：

        GET /topics/<topic>/messages?group=<group>

        在指定的topic中消费数据，需要制定该consumer属于哪个group。返回json格式的数据，里面的key和value是base64编码的。

    get offsets：

        GET /topics/<topic>/offsets?group=<group>

    set offsets：

        POST /topics/<topic>/offsets?group=<group>

        设置指定topic中某一个group中的consumer的offsets。

    list consumer：

        列出某个topic的所有consumer，如果有指定group，则是列出某个组的comsumer。

        GET /topics/<topic>/consumers[?group=<group>]

安装

wget https://github.com/mailgun/kafka-pixy/releases/download/v0.11.1/kafka-pixy-v0.11.1-linux-amd64.tar.gz
tar zxvf kafka-pixy-v0.11.1-linux-amd64.tar.gz
cd kafka-pixy-v0.11.1-linux-amd64

    有三个二进制命令：

        kafka-pixy：主程序

        testproducer：生产测试

        testconsumer：消费测试

    自行在git上下载。

启动pixy

kafka-pixy -zookeeperPeers 10.205.51.50:2181 -kafkaPeers 10.205.51.50:9092 -tcpAddr 10.205.51.50:80

 创建test topic

kafka-topics --create --zookeeper 10.205.51.50:2181 --partitions 1 --replication-factor 1 --topic test

 初始化group offset

curl -G http://10.205.51.50/topics/test/messages?group=gtest

 通过rest接口post数据

curl -X POST http://10.205.51.50/topics/test/messages?sync -H 'Content-Type: text/plain' -d '123456'

 通过接口get数据，并用base64解码

curl -G http://10.205.51.50/topics/test/messages?group=gtest

 

 

转载于:https://my.oschina.net/guol/blog/823161