kafka单机伪分布式搭建

                       kafka单机伪分布式搭建

Zookeeper的功能以及工作原理

ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Kafka简介

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

一、环境基础准备jdk

java -version   #查看jadk

yum -y list  java*   #查看yum源中的java

yum -y install java-1.8.0*  #安装1.8jdk

 

二、定义目录结构以及伪分布式节点:

mkdir -p /opt/zookeeper    #zookeeper目录里面到时存放各个zookeeper节点

mkdir -p /opt/zookeeper/server1     #定义zookeeper节点1

mkdir -p /opt/zookeeper/server2     #定义zookeeper节点2

mkdir -p /opt/zookeeper/server3     #定义zookeeper节点3

mkdir -p /opt/kafka     #kafka路径

 

三、下载并安装zookeeper和kafka的最新版压缩包：

 1、下载解压zookeeper

 cd /opt/zookeeper

 wget https://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz

 tar zxvf zookeeper-3.4.12/zookeeper-3.4.12.tar.gz -C /opt/zookeeper/server1

 tar zxvf zookeeper-3.4.12/zookeeper-3.4.12.tar.gz -C /opt/zookeeper/server2

 tar zxvf zookeeper-3.4.12/zookeeper-3.4.12.tar.gz -C /opt/zookeeper/server3

 2、下载解压kafka

 cd /opt/kafka

 wget https://mirrors.aliyun.com/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

 tar zxvf kafka_2.12-1.1.0.tgz -C /opt/kafka

##没有wget 需要安装

Yum -y install wget

四、创建zookerper各个节点的data和logs目录以及zookeeper节点标识文件的myid：

 cd  /opt/zookeeper/server1/zookeeper-3.4.12  #切到server1创建

 mkdir -p data  #Zookeeper保存数据的目录

 mkdir -p logs  #Zookeeper将写数据的日志文件保存在这个目录里。

 cd data