kafka安装配置

http://kafka.apache.org/

• Kafka是一个分布式的流处理平台(0.10.x版本)，在kafka0.8.x版本的时候，kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性；主要应用场景是：日志收集系统和消息系统

安装配置步骤
step1：拷贝软件包

step2：解压
tar -xvf kafka_2.9.2-0.8.1.1.tgz 或者用 unzip kafka_2.9.2-0.8.1.1.zip

 修改配置文件conf/server.properties：
           broker.id=0
           host.name=10.100.5.9
           zookeeper.connect=10.100.5.9:2181可逗号分隔配置多个

step3: 确保有执行权限
chmod +x sbin/*

step4：修改配置文件vim log4j.properties

 log4j.appender.D.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/debug.log
 log4j.appender.E.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/error.log

（补充：在kafka的logs文件没有debug.log和error.log 文件，需要自己新建这两个文件：touch debug.log 和 touch error.log
然后把上面两行粘进去，并把路径分别改为指向自己新建的debug.log和error.log文件）

Step5：启动kafka服务

  sbin/start-kafka.sh

查看是否启动： jsp -l
[如果有kafka出现就说明启动成功]

step6：创建topic主题：

     bin/kafka-topics.sh --create --zookeeper192.168.1.5:2181 --replication-factor 1 --partitions 1 --topic zhangyonghong

【启动consumer和productor是在两个不同的终端里运行的，注意！】

 启动consumer

    bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181 --topic zhangyonghong

 启动productor  

     bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092 --topic zhangyonghong

在productor端输入，看consumer端的输出。

productor端

[user@localhost kafka_2.11-0.10.0.1]$ bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092 --topic zhangyonghong

sdfsd
sdfsdf
zhang
yonghong
clear
produce
zhangyonghong

consumer端

[user@localhost kafka_2.11-0.10.0.1]$ bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181 --topic zhangyonghong
[2017-04-23 15:06:29,553] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)
[2017-04-23 15:06:30,262] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)

sdfsd
sdfsdf
zhang
yonghong
clear
produce
zhangyonghong

生产者生产什么，消费者就消费什么。也就是说，在productor端输入什么，consumer端就会输出什么。

补充材料：

server.properties配置文件中的参数的意思

http://blog.csdn.net/lizhitao/article/details/25667831
接下来了解一下配置文件的作用
【kafka-topics.sh】【log4j.properties 】【server.properties 】