kafka下载搭建集群1

一、kafka是什么，原理。

1.概念：

kafka是一种基于分布式的发布/订阅模式的消息队列，一种消息中间件（常用的有afka,Rabbit Mq Rocket mq ,active mq），其中kafka大部分用于大数据。

2.实现异步的原理:

在中间加入了一层mq使其成为异步。通常消费结果后会通过回调函数写入表中，表明该记录消费。

3.mq的作用：

解耦：减少生产者与消费者的直接消费，塞到mq中，通过中间件进行协调生产消费
异步：以前是生产者直接生产消费者直接消费，现在生产消息存入到队列或者主题中，通过消费者订阅该主题或监听该队列获取消息实现异步。
削峰：塞到队列，不会阻塞线程去执行其他操作，这样很好解决一时间很多请求的问题。
缓冲：有了这个缓冲很好解决消费和生产速度不对等的问题，控制两边时间。

4.消息队列的两种方式

4.1队列（1对1）

消息生产者发送消息对队列中，而消费者则从队列中获取消息，可以有多个生产者生产消息对队列中，但对于一个消息而已，只能一个消费者去消费。

4.2发布/订阅模式

消费者可以发布消息到主题上，只有消费者订阅该主题，则可以消费该消息，一条消息可以有多个消费者去消费，通常先订阅该主题，先启动消费者，再启动生产者，这能获取到生产者发布到该主题的消息。

5.Kafka 基础架构

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；
2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；
3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负
责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所
有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
4）Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker
可以容纳多个 topic。
5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个 topic；
6）Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，
一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；
Replica：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失， 且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本， 一个 leader 和若干个 follower。
7）
8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 leader。
9）follower：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据
的同步。leader 发生故障时，某个 follower 会成为新的 follower。

二、Kafka怎么安装使用。

1.安装配置：

1.下载路径：

http://kafka.apache.org/downloads.html

2.解压安装：

tar -zxvf kafka_2.12-2.8.0.tgz /opt/moudle

3.修改文件名称

mv kafka_2.12-2.8.0.tgz kafka

4.在kakfa下面创建logs文件夹用于之后的存放日志

mkdir logs

5.修改配置文件

①进入kafka目录里面
②cd config/
③修改配置文件：vim server.properties
主要修改几个配置：
broker.id=1 #全局唯一编号不能重复 Server Basics配置
delete.topic.enable=true #删除topic主题Server Basics配置
log.dirs=/opt/module/kafka/logs #修改日志存放地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181 #配置zookeeper集群

6.配置环境变量（各个服务器修改）

①vim /etc/profile
增加一下内容
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
②生效文件：source /etc/profile

7.分发文件夹（使用分发脚本，详情脚本在整理的zookeeper种）

xsync kafka/

8.分别修改server.properties文件中broker.id(不能重复id)

9.分别启动kafka

进入bin文件中执行：
./kafka-server-start.sh -daemon …/config/server.properties

10.关闭kafka

./kafka-server-stop.sh stop

11.搭建启动集群脚本：创建在/usr/local/bin下vim kafkastart

#!/bin/bash
for i in hadoop1 hadoop2 hadoop3
do
echo “=$i==”
ssh $i ‘/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties’
done

12.启动zk.start，启动zookeeper集群

①启动kafka时候出现异常原因
java.net.UnknownHostException: XXX: XXX域名解析错误
②解决办法
vim /etc/hosts #修改该文件，把需要解析错误的域名放到 ::1后面即可

13.创建主题

bin/kafka-topics.sh --zookeeper hadoop1:2181 --create --replication-factor 3 --partitions 1 --topic first

选项说明：
–topic 定义 topic 名
–replication-factor 定义副本数
–partitions 定义分区数

14.查看主题

bin/kafka-topics.sh --zookeeper hadoop1:2181 --list

15.删除主题

bin/kafka-topics.sh --zookeeper hadoop1:2181 --delete --topic first

16.启动生产者去生产主题

bin/kafka-console-producer.sh --broker-list hadoop1:9092 --topic first

Hello,kafka

17.启动消费者去消费主题

bin/kafka-console-consumer.sh --bootstrap-server hadoop2:9092 --topic first

18.查看某个topic详细信息

bin/kafka-topics.sh --zookeeper hadoop2:2181 --describe --topic first4

19.修改分区数

bin/kafka-topics.sh --zookeeper hadoop1:2181 --alter --topic first --partitions 6

2.解读概念

Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。
topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文
件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该
log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己
消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

三、代码实现kafka.