Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。
此处采用kafka_2.10-0.8.2.2版本进行安装部署,机器环境为ubuntu1404
1、下载kafka安装包并解压
此处解压到/usr/local目录下
> tar -zxvf kafka_2.10-0.8.2.2.tgz -C /usr/local/
> cd /usr/local/kafka_2.10-0.8.2.2/
2、开启kafka服务
Kafka依赖zookeeper,所以首先要开启zookeeper,如果机器没有安装zookeeper,可以使用kafka安装包内的自带的脚本来启动一个单节点的zookeeper
> bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka server:
> bin/kafka-server-start.sh config/server.properties
3、创建topic
创建一个名为”test”的topic,只有一个partition和一个replica
> bin/kafka-topics.sh --create --zo