分布式消息队列Kafka

&Kafka概述
Kafka: A distributed streaming platform
Kafka®用于构建实时数据管道和流媒体应用程序。它是水平可伸缩的，容错能力强，运行速度快，可以在数千家公司中运行。
重要概念：生产者&消费者
ex：
妈妈：生产者
你：消费者
馒头：数据流，消息

&Kafka架构及核心概念
官网介绍：
ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？
流媒体平台有三个关键功能：

1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
2.以容错的持久方式存储记录流。
3.记录发生时处理流。

Kafka通常用于两大类应用：
1.构建可在系统或应用程序之间可靠获取数据的实时流数据管道
2.构建转换或响应数据流的实时流应用程序

要了解Kafka如何做这些事情，让我们深入探讨Kafka的能力。
首先是几个概念：

Kafka作为一个集群运行在一个或多个可跨多个数据中心的服务器上。
Kafka集群以称为主题的类别存储记录流。
每条记录由一个键，一个值和一个时间戳组成。

Kafka架构核心概念：
1.producer:生产者，就是生产馒头（妈妈）
2.consumer：消费者，就是吃馒头的你
3.broker：篮子
4.topic：主题，给馒头带一个标签，topic a的馒头是给你吃的，topic b的馒头是给你妹妹吃的

&Kafka部署及使用
启动Kafka首选需要去下载安装Zookeeper
1.下载 Zookeeper
Apache 版本下载地址：https://archive.apache.org/dist/
CDH 版本下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
下载对应版本 Zookeeper

2 解压 Zookeeper
通过 tar -zxvf 命令对 Zookeeper 安装包进行解压即可。

3 创建软连接并把Zookeeper地址配置到环境变量
为了方便版本的更换和学习使用，可以创建zookeeper软连接指向zookeeper真实安装路径。
可以使用如下命令：ln -s zookeeper-xxx zookeeper
1.vi ~/.bash_profile

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH

2.source ~/.bash_profile

4 修改 zoo.cfg 配置文件(dataDir地址)

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hadoop/data/zookeeper/zkdata
dataLogDir=/home/hadoop/data/zookeeper/zkdatalog
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

5.测试运行
启动 Zookeeper
bin/zkServer.sh start

6 查看并操作 znode
bin/zkCli.sh

Kafka 集群安装部署
1. 下载
Kafka 版本选择：
Flume 对 Kafka 版本的要求：
http://flume.apache.org/FlumeUserGuide.html#kafka-sink
Spark 对 Kafka 版本的要求：
http://spark.apache.org/docs/2.3.0/structured-streaming-kafka-integration.html
Kafka 版本下载：
0.10 版本以上下载：http://mirrors.hust.edu.cn/apache/kafka/
所有版本下载地址：http://kafka.apache.org/downloads

2. 解压
使用如下命令解压 Kafka 安装包：
tar -zxvf kafka_2.11-0.10.2.2.tgz
删除 Kafka 安装包：
rm -rf kafka_2.11-0.10.2.2.tgz

3. 修改配置文件
3.1 修改 zookeeper.properties
$ vi zookeeper.properties
#Zookeeper 数据存储路径与 Zookeeper 配置文件保持一致
dataDir=/home/hadoop/data/zookeeper/zkdata

3.2 修改 consumer.properties
$ vi consumer.properties
#配置 Zookeeper 集群连接地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

3.3 修改 producer.properties
$ vi producer.properties
#修改 kafka 集群配置地址（0.10）
bootstrap.servers=master:9092,slave1:9092,slave2:9092
#修改 kafka 集群配置地址（0.8）
metadata.broker.list=master:9092,slave1:9092,slave2:9092

3.4 修改 server.properties
$ vi server.properties
#配置 Zookeeper 集群地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka1.0
#存储日志文件目录
log.dirs=/home/hadoop/data/kafka-logs

4. 再次修改 server.properties
在各个节点分别修改 server.properties
#修改 hadoop01 节点
broker.id=1
#修改 hadoop02 节点
broker.id=2
#修改 hadoop03 节点
broker.id=3

5. 创建日志目录
在各个节点分别创建日志目录：
mkdir /home/hadoop/data/kafka-logs

6.Kafka 集群启动与测试
6.1 启动 Zookeeper 集群
home/hadoop/app/zookeeper/bin/zkServer.sh start
6.2 启动 Kafka 集群
bin/kafka-server-start.sh config/server.properties &
6.3 查看 topic 列表
查 看 topic 列 表 ( 如 果 配 了 根 目 录 ， Zookeeper 路 径 需 要 加 上 root 目 录 ， 例 如
localhost:2181/kafka1.0)
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list
6.4 创建 topic
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --create --topic test --replication-factor 3
–partitions 3
6.5 查看 topic 详情
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --describe --topic test
6.6topic 数据发送与消费

6.6.1 新 api 使用
hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据（此时消费最新数据）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据（从头消费数据）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 –list
查看 topic 每个 partition 数据消费情况
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --group xxx –
describe
参数说明：
Group 消费者组
TOPIC：曾经消费或正在消费的 topic
PARTITION：分区编号
CURRENT-OFFSET：consumer group 最后一次提交的 offset
LOG-END-OFFSET：最后提交的生产消息 offset
LAG：消费 offset 与生产 offset 之间的差值
CONSUMER-ID：当前消费 topic-partition 的 group 成员 id
HOST：消费节点的 ip 地址
CLIENT-ID：客户端 id

6.6.2 旧 api 使用
hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test
hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据（此时消费最新数据）
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test
hadoop03 使用自带脚本消费 topic 数据（从头消费数据）
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test --from-beginning
查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --zookeeper localhost:2181/kafka1.0 --list
查看 topic 每个 partition 数据消费情况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group xxx
参数说明：
Group：消费者组
Topic：消费的 topic 名称
pid：分区编号
Offset：消费者组在分区上消费的位置
logSize：分区上的累计消息条数
Lag：消费 offset 与生产 offset 之间的差值
Owner：线程名称