Kafka

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：

1、以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。
2、高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka
3、Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。
4、Scale out：支持在线水平扩展。

Kafka 使用Zookeeper 来保存相关配置信息，Kafka及Zookeeper 依赖Java 运行环境

简单使用
启动kafka：

#守护进程方式启动，就不用nohup，以及阻塞式启动了
bin/kafka-server-start.sh -daemon config/server.properties

创建话题Topic：

bin/kafka-topics.sh --create --zookeeper ip:2181,ip:2181 --replication-factor 2 --partitions 1 --topic cheyo-topic

查看存在的Topic列表:

bin/kafka-topics.sh --zookeeper ip:2181,ip:2181 --list

发送消息：
Kafka提供了一个命令行的工具，可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。不能左右移动光标，删除，每个按键都是消息的内容

bin/kafka-console-producer.sh --broker-list ip:9092 --topic cheyo-topic

消费消息：集群内都可以收到，连接的是kafka的集群server，不再是zookeeper了，0.9版本前存在zookeeper里，0.9版本后存在了kafka系统创建的topic“_consumer_offsets”里

#bin/kafka-console-consumer.sh --zookeeper ip:2181,ip:2181/kafka --from-beginning --topic cheyo-topic

bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic waf_log_websec

bin/kafka-topics.sh --describe --zookeeper ip:2181 --topic test1
#查看消费者组
bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --list
#查看消费进度
bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group console-consumer-84640

Java 操作topic api，使用kafka.utils.ZkUtils和kafka.admin.AdminUtils
http://keep.01ue.com/?pi=380932&_a=app&_c=index&_m=p

https://www.cnblogs.com/xiaodf/p/6093261.html#9

参考
http://colobu.com/2014/08/06/kafka-quickstart/
http://blog.cheyo.net/42.html
http://www.infoq.com/cn/articles/kafka-analysis-part-1
http://blog.csdn.net/zhongwen7710/article/details/41252649#

kafka使用
http://blog.csdn.net/wang_zhenwei/article/details/48357131

在没有zookeeper的情况下，使用kafka自带的zookeeper启动
http://www.linuxidc.com/Linux/2014-07/104470p2.htm

Zookeeper+Kafka的单节点standalone配置
http://www.bubuko.com/infodetail-2708469.html

kafka的一些常用命令
https://www.cnblogs.com/dragkiss/p/5668019.html

kafka各版本差异
https://blog.csdn.net/qq_14950717/article/details/76686332
Kafka0.10的新特性一览
https://blog.csdn.net/cssdongl/article/details/77750459

could not be established. Broker may not be available

配置kafka和zookeeper时，最好配置为ip