kafka补充和leader均衡机制和java精度小知识点

kafka与java连接
kafka 提供了两套 consumer API：
1. The high-level Consumer API
2. The SimpleConsumer API （不用，因为有很多需要自己管理）
 其中 high-level consumer API 提供了一个从 kafka 消费数据的高层抽象，而 SimpleConsumer API 则需要开发人员更多地关注细节。
The high-level consumer API
high-level consumer API 提供了 consumer group 的语义，一个消息只能被 group 内的一个 consumer 所消费，且 consumer 消费消息时不关注 offset，最后一个 offset 由 zookeeper 保存。
使用 high-level consumer API 可以是多线程的应用，应当注意：
1. 如果消费线程大于 patition 数量，则有些线程将收不到消息
2. 如果 patition 数量大于线程数，则有些线程多收到多个 patition 的消息
3. 如果一个线程消费多个 patition，则无法保证你收到的消息的顺序，而一个 patition 内的消息是有序的
以下针对 high-level Consumer API 进行说明。
 consumer group
kafka 的分配单位是 patition。每个 consumer 都属于一个 group，一个 partition 只能被同一个 group 内的一个 consumer 所消费（也就保障了一个消息只能被 group 内的一个 consuemr 所消费），但是多个 group 可以同时消费这个 partition。
kafka 的设计目标之一就是同时实现离线处理和实时处理，根据这一特性，可以使用 spark/Storm 这些实时处理系统对消息在线处理，同时使用 Hadoop 批处理系统进行离线处理，还可以将数据备份到另一个数据中心，只需要保证这三者属于不同的 consumer group。
partion中的leader均衡机制：见下图
当leader中的一个机器挂掉之后，机器会查看那个broker的使用不是很紧张，就会代替其接着处理消息，这时候leader后面的编号就会变为正在处理它的broker编号，挂掉的机器重启后，机器会检测到，然后重新进行分配，这样就达到了资源平衡。

 

关于java精度，有一个java.math提供的BigDecinal，涉及到金融方面，需要高精度计算的时候，用这个类。