添加链接描述@TOC
一、Kafka简介
1.1 什么是kafka
kafka是一个分布式、高吞吐量、高扩展性的消息队列系统。kafka最初是由Linkedin公司开发的，后来在2010年贡献给了Apache基金会，成为了一个开源项目。主要应用在日志收集系统和消息系统，相信大家之前也听说过其他的消息队列中间件，比如RabbitMQ、AcitveMQ，其实kafka就是这么一个东西，也可以叫做KafkaMQ。总之，Kafka比其他消息队列要好一点，优点也比较多，稳定性和效率都比较高，大家都说好，那就是真的好。
1.2 Kafka中的相关概念
在理解Kafka的相关概念之前，我们先来看一张图，这张图基本上包括了Kafka所有的概念，对于我们理解Kafka十分有帮助。
上图中包含了2个Producer（生产者），一个Topic（主题），3个Partition（分区），3个Replica（副本），3个Broker（Kafka实例或节点），一个Consumer Group（消费者组），其中包含3个Consumer（消费者）。下面我们逐一介绍这些概念。
1.2.1 Producer（生产者）
生产者，顾名思义，就是生产东西的，也就是发送消息的，生产者每发送一个条消息必须有一个Topic（主题），也可以说是消息的类别，生产者源源不断的向kafka服务器发送消息。
1.2.2 Topic（主题）
每一个发送到Kafka的消息都有一个主题，也可叫做一个类别，类似我们传统数据库中的表名一样，比如说发送一个主题为order的消息，那么这个order下边就会有多条关于订单的消息，只不过kafka称之为主题，都是一样的道理。
1.2.3 Partition（分区）
生产者发送的消息数据Topic会被存储在分区中，这个分区的概念和ElasticSearch中分片的概念是一致的，都是想把数据分成多个块，好达到我们的负载均衡，合理的把消息分布在不同的分区上，分区是被分在不同的Broker上也就是服务器上，这样我们大量的消息就实现了负载均衡。每个Topic可以指定多个分区，但是至少指定一个分区。每个分区存储的数据都是有序的，不同分区间的数据不保证有序性。因为如果有了多个分区，消费数据的时候肯定是各个分区独立开始的，有的消费得慢，有的消费得快肯定就不能保证顺序了。那么当需要保证消息的顺序消费时，我们可以设置为一个分区，只要一个分区的时候就只能消费这个一个分区，那自然就保证有序了。
1.2.4 Replica（副本）
副本就是分区中数据的备份，是Kafka为了防止数据丢失或者服务器宕机采取的保护数据完整性的措施，一般的数据存储软件都应该会有这个功能。假如我们有3个分区，由于不同分区中存放的是部分数据，所以为了全部数据的完整性，我们就必须备份所有分区。这时候我们的一份副本就包括3个分区，每个分区中有一个副本，两份副本就包含6个分区，一个分区两份副本。Kafka做了副本之后同样的会把副本分区放到不同的服务器上，保证负载均衡。讲到这我们就可以看见，这根本就是传统数据库中的主从复制的功能，没错，Kafka会找一个分区作为主分区（leader）来控制消息的读写，其他的（副本）都是从分区（follower），这样的话读写可以通过leader来控制，然后同步到副本上去，保证的数据的完整性。如果有某些服务器宕机，我们可以通过副本恢复数据，也可以暂时用副本中的数据来使用。
PS：这个东西实际跟ElasticSearch中的副本是完全一致的，不愧是一个爹出的东西，思想啥的都是一样的。
1.2.5 Broker（实例或节点）
这个就好说了，意思就是Kafka的实例，启动一个Kafka就是一个Broker，多个Brokder构成一个Kafka集群，这就是分布式的体现，服务器多了自然吞吐率效率啥的都上来了。
1.2.6 Consumer Group（消费者组）和 Consumer（消费者）
Consume消费者来读取Kafka中的消息，可以消费任何Topic的数据，多个Consume组成一个消费者组，一般的一个消费者必须有一个组（Group）名，如果没有的话会被分一个默认的组名。
1.3 Kafka的架构与设计
一般的来说，一个Kafka集群包含一个或多个的Producer，一个或多个的Broker，一个或多个的Consumer Group，和一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，管理集群在运行过程中负责均衡、故障转移和恢复什么的。Producer使用Push（推送）的方式将消息发布到Broker，Consumer使用Pull（拉取）的方式从Broker获取消息，两者都是主动操作的。
1.3.1 Topic和Partition
Kafka最初设计初衷就是高吞吐率、速度快。所以在对Topic和Partition的设计中，把Topic分成一个或者多个分区，每个Partition在物理磁盘上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。当我们创建一个Topic是，同时可以指定分区数据，数目越多，吞吐量越大，但是消耗的资源也越多，当我们向Kafka发送消息时，会均衡的将消息分散存储在不同的分区中。在存储的过程中，每条消息都是被顺序写到磁盘上的。（顺序写磁盘的时候比随机写内存的想效率还高，这也是Kafka快的一个原因之一）。
下面是Kafka的写入原理图，可以看出下列消息都是顺序的，消费者消费的时候也是按着顺序来消费的。
对于传统的MQ而言，一般经过消费后的消息都会被删除，而Kafka却不会被删除，始终保留着所有的消息，只记录一个消费者消费消息的offset（偏移量）作为标记，可以允许消费者可以自己设置这个offset，从而可以重复消费一些消息。但不删除肯定不行，日积月累，消息势必会越来越多，占用空间也越来越大。Kafka提供了两种策略来删除消息：一是基于时间，二是基于Partition文件的大小，可以通过配置来决定用那种方式。不过现在磁盘那么廉价，空间也很大，隔个一年半载删除一次也不为过。
1.3.2 Producer
生产者发送消息时，会根据Partition的策略来决定存到那个Partition中，一般的默认的策略是Kafka提供的均衡分布的策略，即实现了我们所要的负载均衡。一般的，当我们的消息对顺序没有要求的话那就多设置几个分区，这样就能很好地负载均衡增加吞吐量了。分区的个数可以手动配置，也可以在创建Topic的时候就事先指定。发送消息的时候，需要指定消息的key值，Producer会根据这个key值和Partition的数量来决定这个消息发到哪个分区，可能里边就是一个hash算法。
1.3.3 Consumer Group 和 Consumer
我们知道传统的消息队列有两种传播消息的方式，一种是单播，类似队列的方式，一个消息只被消费一次，消费过了，其他消费者就不能消费了；另一种是多播，类似发布-订阅的模式，一个消息可以被多个消费者同时消费。Kafka通过消费者组的方式来实现这两种方式，在一个Consumer Group中，每一个Topic中的消息只能被这个组中的一个Consumer消费，所以对于设置了多分区的Topic来说，分区的个数和消费者的个数应该是一样的，一个消费者消费一个分区，这样每个消费者就成了单播形式，类似队列的消费形式。所以说，一个消费者组里边的消费者不能多于Topic的分区数，一旦多于，多出来的消费者就不能消费到消息。另外，不同的消费者组可以同时消费一个消息，这样就实现了多播，类似发布-订阅的模式。我们可以设置每个组中一个消费者的方式来实现发布-订阅的模式。当我们有多个程序都要对消息进行处理时，我们就可以把他们设置到不同的消费者组中，来实现不同的功能。
好了，以上我们已经对Kafka有了一个初步的认识，接下来就可以来使用了。
二、Kafka的安装与使用
使用Kafka需要先安装jdk，1.7以上的版本，配置好环境变量，这一步就不啰嗦了！！
2.1 下载Kafka
下载地址：http://kafka.apache.org/downloads，找到下边的Binary Downloads就行了，版本随意选择，不过最好选择比较旧一点了，以防新的版本有新的改动啥的，导致我们踩坑，我选了下边这个版本：
下载之后直接解压就行了，压缩包格式是在linux上用的，不过一般的我们学习一个东西都可以先从windows上开始， 操作起来比较简单，由于这种高级东西运行起来都是命令行，所以对于linux和windows就没啥区别的了，到linux也是命令直接复制粘贴就行了。
2.2 启动Kakfa
2.2.1 启动Zookeeper
因为Kafka依赖Zookeeper，所以要先启动它，如下图，定位到Kafka的目录，我的是 F:\Dev\kafka_2.11-2.1.0。
在地址栏中输出cmd，然后敲回车，瞬间打开一个命令行，然后输入：.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties，注意. 代表当前目录，使用这个bat启动Zookeeper并且使用后边的配置。
发现上边那句话，并且没报错什么的，表示Zookeeper启动成功。
2.2.2 启动Kafka
同样，在地址栏中输出cmd，瞬间启动一个命令行，然后输入：.\bin\windows\kafka-server-start.bat .\config\server.properties
发现上边那句话，并且没报错什么的，表示Kafka启动成功。
2.2.3 创建Topic
同样，进入到F:\Dev\kafka_2.11-2.1.0\bin\windows，在地址栏中输出cmd，瞬间启动一个命令行，然后输入：kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test，创建一个主题test。
发现上边那句话，并且没报错什么的，表示主题Topic创建成功。
2.2.4 创建Producer
同样，进入到F:\Dev\kafka_2.11-2.1.0\bin\windows，在地址栏中输出cmd，瞬间启动一个命令行，然后输入：kafka-console-producer.bat --broker-list localhost:9092 --topic test，创建一个Producer，准备生产主题为test的消息。
出现一个光标，表示等待生产消息，一会我们可以输入消息。
2.2.5 创建Consumer
同样，进入到F:\Dev\kafka_2.11-2.1.0\bin\windows，在地址栏中输出cmd，瞬间启动一个命令行，然后输入：kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning，创建一个Consumer，准备消费主题为test的消息。
也会出现一个光标，等待显示消息。
2.2.6 测试生产和消费
在Producer控制台输入消息，会在Consumer控制台看见消息：
以上就是Kafka的搭建和使用，也不是那么的复杂。我们在开发中肯定使用的是各类语言封装过的驱动，java、.net的都差不多，先理解了原理，用起来就方便多了。
三、Kafka客户端驱动的使用
下面我们使用.net的Kafka驱动Confluent.Kafka，来看看是如果使用Kafka的，其他语言的小伙伴可以自行搜索相关的驱动。
3.1 创建应用
如下图，创建一个解决方案，添加两个控制台项目，一个作为生产者，一个作为消费者。
3.2 添加Producer和Consumer类
添加Producer类和Consumer类，配置中的server写死为默认的Kafka服务器的地址，如下图所示：
3.3 添加Program.cs中的启动代码
添加Producer的代码：
添加Consumer的代码：
3.4 启动Kafka服务
按照步骤2.2.1和2.2.2 启动Zookeeper和Kafka，消费者和生产者就不用启动了，我们用控制台代替。
3.4 启动实例
分别启动Producer实例和Consumer实例，在Producer控制台下输入消息，可以发现Consumer控制台下显示消息，和前边我们所做的是一致的。
好了，以上就是Kafka的初步使用，有了这些基础，我们就可以搭建一个消息队列开始处理消息了。
参考文章：https://www.cnblogs.com/xxinwen/p/10683416.html，https://www.cnblogs.com/qingyunzong/p/9004593.html
代码托管到github，地址：https://github.com/EmmaCCC/KafkaStudy.git
四、总结
到此为止，我们已经基本掌握了Kafka的使用，至于详细的配置啥的等到我们用的时候再去研究，假如没机会用到，那就不用去学了，不过用到用不到学了总是有用的，因为到时候简历上又可以写上一项技能了：熟练使用Kafka搭建高并发分布式消息队列系统，承载千万级别的消息并发，之后的怎么喷就看你自己了。
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
- 全新的界面设计 ，将会带来全新的写作体验；
- 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
- 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
- 全新的 KaTeX数学公式 语法；
- 增加了支持甘特图的mermaid语法1 功能；
- 增加了 多屏幕编辑 Markdown文章功能；
- 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
- 增加了 检查列表 功能。
功能快捷键
撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G
合理的创建标题，有助于目录的生成
直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。
如何改变文本的样式
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片
链接: link.
图片: 
带尺寸的图片:
居中的图片: 
居中并且带尺寸的图片:
当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。
如何插入一段漂亮的代码片
去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.
// An highlighted block
var foo = 'bar';
生成一个适合你的列表
- 项目
- 项目
- 项目
- 项目
- 项目1
- 项目2
- 项目3
- 计划任务
- 完成任务
创建一个表格
一个简单的表格是这么创建的：
| 项目 | Value |
|---|---|
| 电脑 | $1600 |
| 手机 | $12 |
| 导管 | $1 |
设定内容居中、居左、居右
使用:---------:居中
使用:----------居左
使用----------:居右
| 第一列 | 第二列 | 第三列 |
|---|---|---|
| 第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：
| TYPE | ASCII | HTML |
|---|---|---|
| Single backticks | 'Isn't this fun?' | ‘Isn’t this fun?’ |
| Quotes | "Isn't this fun?" | “Isn’t this fun?” |
| Dashes | -- is en-dash, --- is em-dash | – is en-dash, — is em-dash |
创建一个自定义列表
-
Markdown
- Text-to- HTML conversion tool Authors
- John
- Luke
如何创建一个注脚
一个具有注脚的文本。2
注释也是必不可少的
Markdown将文本转换为 HTML。
KaTeX数学公式
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.
你可以找到更多关于的信息 LaTeX 数学表达式here.
新的甘特图功能，丰富你的文章
- 关于 甘特图 语法，参考 这儿,
UML 图表
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：
这将产生一个流程图。:
- 关于 Mermaid 语法，参考 这儿,
FLowchart流程图
我们依旧会支持flowchart的流程图：
- 关于 Flowchart流程图 语法，参考 这儿.
导出与导入
导出
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。
导入
如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。
注脚的解释 ↩︎
扫一扫
1514
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
