kafka单机安装2.8.0

  

 

kafka本地单机安装部署

 

 

 

原理

 

Kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。

1、 消息的发布称为 producer，即生产者。消息的订阅称作 consumer，即消费者。一台 kafka服务器就是一个broker。一个集群由多个broker组成。

2、Producer和broker之间没有负载均衡机制。broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册，且 zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化，所有其他的broker和consumer都会得到通知。

3、producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。 

4、使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少性能的创建对象和垃圾回收。

Kafka的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。

准备工作： 

上述的文件除了jdk以外均放在/opt/kafka目录下

 

1、安装jdk1.7包

 

tar -zxvf jdk-7u55-linux-x64.gz

 

vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_55

export PATH=$JAVA_HOME/bin:$PATH

 

使其立即生效 source /etc/profile 
检查是否安装成功:java –version

至此jdk安装配置成功。

 

2、安装zookeeper包 

 

cd /opt/kafka 
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz 
tar -zxvf zookeeper-3.3.6.tar.gz 
vim /etc/profile

<