kafka 集群搭建过程及搭建问题处理

文章目录

1、Kafka 简介
2、Zookeeper 集群搭建
3、Kafka 集群搭建
4、Kafka 集群搭建问题记录

---

1、Kafka 简介

    Kafka是一个消息系统，由LinkedIn贡献给Apache 基金会，称为Apache 的一个顶级项目；Kafka对消息保存时根据 Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer，无论是Kafka集群，还是Producer和consumer都依赖于 Zookeeper 来保证系统可用性。搭建 Kafka 集群环境要首先搭建 Zookeeper 集群。

Kafka集群搭建准备工作：

* 准备3台机器，IP地址分别为：192.168.1.184、192.168.1.203、192.168.1.208；其中有两台物理机一台虚拟机，192.168.1.208为虚拟机Centos系统，192.168.1.184、192.168.1.203为物理机ubuntu系统。
* 下载kafka，当前版本为：kafka_2.11-0.9.0.1.tgz，将该文件拷贝到以上三台机器的安装目录，本次环境搭建目录：/home/shuzilm/Downloads/kafka_2.11-0.9.0.1/。
* 安装java1.7，安装方式参考：
http://www.centoscn.com/image-text/install/2014/0827/3585.html
Java1.7的下载 地址：
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
解压源码包
通过终端在/usr/local目录下新建java文件夹，命令行：
sudo mkdir /usr/local/java
然后将下载到压缩包拷贝到java文件夹中，命令行：
进入jdk源码包所在目录
cp jdk-7u79-linux-x64.tar.gz /usr/local/java
然后进入java目录，命令行：
cd /usr/local/java
解压压缩包，命令行：
tar xvf jdk-7u79-linux-x64.tar.gz
然后可以把压缩包删除，命令行：
rm jdk-7u79-linux-x64.tar.gz

设置jdk环境变量
这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量
vi /etc/profile
打开之后在末尾添加:
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export PATH=$PATH:$JRE_HOME/bin

请记住，在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识