kafka数据管道

把书读薄(Kafka权威指南 第七章)

向kafka塞入（读取）数据的方式？

1. 通过构建kafka客户端，进行读取或者写入。这种方式代码一般会被嵌入到应用程序
2. 使用Connect Api，面对的是市面上的存储系统，

Connect Api怎么处理与其它系统交互的？

connect api包含3个基本概念：worker进程，连接器，转换器
1. 连接器：她负责决定需要运行多少的任务，按照任务来拆分数据复制，从worker获取对应任务的配置并传递下去。而任务就负责将数据搬进和移出kafka,任务在初始化的时候会得到woker进程分配的源文件上下文，里面提供一些方法可以对数据进行清理，重试偏移量保存等等操作
2. worker进程：处理HTTP请求【定义连接器和连接器配置】、保存连接器的配置、启动连接器和连接器任务、将配置信息传递给任务、提交偏移量。总的来说，它负责配置管理、可靠性、高可用性、伸缩性和负载均衡
3. 数据转换：对于每种数据有自己的schema,源链接器通过转换器将数据保存到kafka,而目标连接器则使用worke指r定的转换器转换成对应的格式