Kafka（第一节）Kafka的介绍、Kafka安装和集群搭建和常用kafka命令行

消息系统

kafka企业级消息系统

了解为什么要使用消息系统

在没有使用消息系统以前，我们对于传统许多业务，以及跨服务器传递消息的时候，会采用串行方式或者并行方法；

• 串行方式：
  用户注册实例：将注册信息写入数据库成功后，发送注册邮件，在发送注册短信。
  

• 并行方式：
  将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成之后，响应给客户端，与串行的差别是并行的方式可以缩短程序整体处理的时间。
  

消息系统

• 消息系统负责将数据从一个应用程序传送到另一个应用程序，因此应用程序可以专注于数据，但是不必担心 如何共享它。分布式消息系统基于可靠的消息队列的概念。消息在客户端应用程序和消息传递系统之间的异步排队。
• 有两种类型的消息模式可用：点对点；发布-订阅消息系统。
  点对点消息系统中，消息被保留在队列中，一个或者多个消费者可以消费队列中的消息，但是特定的消 息只能有最多的一个消费者消费。一旦消费者读取队列中的消息，他就从该队列中消失。该系统的典型应用就是订单处理系统，其中每个订单将有一个订单处理器处理，但多个订单处理器可以同时工作。
• 大多数的消息系统是基于发布-订阅消息系统。
  

了解消息系统的分类

点对点

主要采用的队列的方式，如A->B 当B消费的队列中的数据，那么队列的数据就会被删除掉【如果B不消费那么就会存在队列中有很多的脏数据】。

发布-订阅

发布与订阅主要三大组件
主题：一个消息的分类 ；
发布者：将消息通过主动推送的方式推送给消息系统；
订阅者：可以采用拉、推的方式从消息系统中获取数据。

消息系统的应用场景

应用解耦

将一个大型的任务系统分成若干个小模块，将所有的消息进行统一的管理和存储，因此为了解耦，就会涉及到kafka企业级消息平台

流量控制

秒杀活动当中，一般会因为流量过大，应用服务器挂掉，为了解决这个问题，一般需要在应用前端加上消息队列以控制访问流量。
1、 可以控制活动的人数 可以缓解短时间内流量大使得服务器崩掉
2、 可以通过队列进行数据缓存，后续再进行消费处理

日志处理

日志处理指将消息队列用在日志处理中，比如kafka的应用中，解决大量的日志传输问题；
日志采集工具采集 数据写入kafka中；kafka消息队列负责日志数据的接收，存储，转发功能；
日志处理应用程序：订阅并消费 kafka队列中的数据，进行数据分析。

消息通讯

消息队列一般都内置了高效的通信机制，因此也可以用在纯的消息通讯，比如点对点的消息队列，或者聊天室等。

kafka简介

简介

kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。

支持的语言

kafka目前支持多种客户端的语言：java、python、c++、php等

apache kafka是一个分布式发布-订阅消息系统

apache kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka适合离线和在线消息消费。kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。它与apache和spark非常好的集成，应用于实时流式数据分析。

其他的消息队列

RabbitMQ
Redis
ZeroMQ
ActiveMQ

kafka的好处

可靠性：分布式的，分区，复制和容错的。
可扩展性：kafka消息传递系统轻松缩放，无需停机。
耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。
性能：kafka对于发布和定于消息都具有高吞吐量。即使存储了许多TB的消息，他也爆出稳定的性能。
kafka非常快：保证零停机和零数据丢失。

kafka应用场景

• 指标分析
  kafka 通常用于操作监控数据。这设计聚合来自分布式应用程序的统计信息， 以产生操作的数据集中反馈
• 日志聚合解决方法
  kafka可用于跨组织从多个服务器收集日志，并使他们以标准的合适提供给多个服务器。
• 流式处理
  流式处理框架（spark，storm，flink）重主题中读取数据，对齐进行处理，并将处理后的数据写入新的主题，供 用户和应用程序使用，kafka的强耐久性在流处理的上下文中也非常的有用。

kafka架构

官方文档架构图

kafka四大核心

• 生产者API
  允许应用程序发布记录流至一个或者多个kafka的主题（topics）。
• 消费者API
  允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。
• StreamsAPI
  允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或 者多个主题，能够有效的变化输入流为输出流。
• ConnectorAPI
  允许构建和运行可重用的生产者或者消费者，能够把kafka主题连接到现有的应用程序或数据系统。例如：一个连 接到关系数据库的连接器可能会获取每个表的变化。

kafka架构说明

一个典型的kafka集群中包含若干个Producer，若干个Broker，若干个Consumer，以及一个zookeeper集群； kafka通过zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行Rebalance（负载均 衡）；Producer使用push模式将消息发布到Broker；Consumer使用pull模式从Broker中订阅并消费消息。

kafka术语

Broker：kafka集群中包含一个或者多个服务实例，这种服务实例被称为Broker。
Topic：每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic 。
Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition 。
Producer：负责发布消息到kafka的Broker中。 Consumer：消息消费者,向kafka的broker中读取消息的客户端。
Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定
groupName）

kafka中topic说明

kafka将消息以topic为单位进行归类。
topic特指kafka处理的消息源（feeds of messages）的不同分类。
topic是一种分类或者发布的一些列记录的名义上的名字。kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据。
在kafka集群中，可以有无数的主题。
生产者和消费者消费数据一般以主题为单位。更细粒度可以到分区级别。

kafka中分区数（Partitions）

Partitions：分区数
一个broker服务下，可以创建多个分区，broker数与分区数没有关系； 在kafka中，每一个分区会有一个编号，编号从0开始，某一个分区的数据是有序的。

• topic的Partition数量在创建topic时配置。
• Partition数量决定了每个Consumer group中并发消费者的最大数量。
• Consumer group A 有两个消费者来读取4个partition中数据；Consumer group B有四个消费者来读取4个 partition中的数据

kafka中副本数（ Partition Replication）

副本数（replication-factor）：控制消息保存在几个broker（服务器）上，一般情况下等于（可小于不可大于）broker的个数。
副本因子的作用：让kafka读取数据和写入数据时的可靠性。
lsr表示：当前可用的副本

kafka Partition offset

任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset是一个long类型数字，它唯一标识了一条消息，消费者通过（offset，partition，topic）跟踪记录。

kafka分区和消费组之间的关系

消费组： 由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。
某一个主题下的分区数，对于消费组来说，应该小于等于该主题下的分区数。如下所示：

如：某一个主题有4个分区，那么消费组中的消费者应该小于4，而且最好与分区数成整数倍 1 2 4，因为同一个分区下的数据，在同一时刻，不能同一个消费组的不同消费者消费。

总结：分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能。

Kafka安装和集群搭建

1、准备三台机器

IP地址	主机名
192.168.100.100	node01
192.168.100.110	node02
192.168.100.120	node03

2、初始化环境
①安装jdk、安装zookeeper
安装jdk，参考hadoop离线阶段（第二节）shell编程和3台虚拟机同步配置中的“通过Shell脚本对3台机器安装jdk”。
安装zookeeper，参考hadoop离线阶段（第三节）zookeeper概念、安装和基本使用。
②安装用户
安装hadoop，会创建一个hadoop用户
安装kafka，创建一个kafka用户
或者 创建bigdata用户，用来安装所有的大数据软件
本文使用root用户来进行安装，故不再创建用户。
③开启集群中所有机器的zookeeper。
3、下载并解压安装包
本文使用kafka_2.11-0.10.0.0，安装包下载地址。
下载完毕后上传到node01的/export/softwares目录下，解压到/export/servers目录下。
4、修改配置文件

cd /export/servers/kafka_2.11-0.10.0.0/config
vim server.properties

修改以下属性的值

broker.id=0 #注意不同机器的broker.id需要不同，且都是整型数字
log.dirs=/export/servers/kafka_2.11-0.10.0.0/logs
zookeeper.connect=node01:2181,node02:2181,node03:2181

添加以下属性和值

delete.topic.enable=true
host.name=node01 #注意host.name需要根据安装的机器而更改

完成server.properties文件的修改后，在kafka的安装目录下创建/export/servers/kafka_2.11-0.10.0.0/logs目录，作为日志管理目录。
5、分发安装文件

cd /export/servers/
scp -r kafka_2.11-0.10.0.0/ node02://export/servers/
scp -r kafka_2.11-0.10.0.0/ node03://export/servers/

6、node02与node03服务器修改配置文件
修改node02与node03的server.properties文件。
node02

broker.id=1 #注意不同机器的broker.id需要不同，且都是整型数字
host.name=node02 #注意host.name需要根据安装的机器而更改

node03

broker.id=2 #注意不同机器的broker.id需要不同，且都是整型数字
host.name=node03 #注意host.name需要根据安装的机器而更改

7、启动集群
①前台启动
在node01执行

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-server-start.sh config/server.properties

②后台启动
在node01执行

cd /export/servers/kafka_2.11-0.10.0.0
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

③停止kafka服务
在node01执行

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-server-stop.sh

使用jps可以查看kafka进程，进程名是kafka。

常用kafka命令行

由于kafka是集群的，所以在集群中任意机器执行命令行，效果都一样。

创建一个Topic

创建了一个名字为test的主题， 有三个分区，有两个副本

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 \
--replication-factor 2 -- partitions 3 --topic test

在指定zookeeper时，由于zookeeper的特性，其实指定集群所有机器和指定其中一台的效果是一样的。

查看主题命令

使用以下命令来查看kafka当中存在的topic主题

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

生产者生产数据

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-console-producer.sh --broker-list node01:9092 --topic test

输入以上命令后，程序进入阻塞状态，可以在shell界面数据任何内容作为测试数据，换行即是输入新的一条数据。

消费者消费数据

cd /export/servers/kafka_2.11-0.10.0.0
bin/ kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181

运行describe topics命令

命令运行describe查看topic的相关信息

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --describe --zookeeper node01:2181 --topic test

修改topic分区数

将原来3个分区改为8个

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --partitions 8

增加和删除配置

以flush.messages配置为例
增加配置

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --config flush.messages=1

删除配置

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages

删除topic

cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-topics.sh --zookeeper zkhost:port --delete --topic topicName

注意，要删除topic，需要事先在kafka的配置文件server.properties中设置：delete.topic.enable=true。本文已设置过。