kafka-proxy的设计

kafka-proxy是什么？

kafka-proxy是位于kafka集群和应用系统之间的一层代理服务，负责将应用系统的消息转发给kafka集群

为什么要用这个东西？

1.kafka的生产者来自于不同的元数据系统，在生产者与kafka集群之间添加一层代理可以屏蔽各生产者之间的差异，甚至有的语言没有对应的kafka客户端；
2.生产者与Kafka集群之间是通过建立tcp长连接来保持通信，如果每个生产者都与之建立长连接，那么会增加服务端的压力；

Kafka-proxy主要的工作

1.生产者系统的权限控制，防止系统的非法接入
2.接入标准控制，保证写入的数据符合设计的规范
3.请求过滤和转发
4.负载均衡