Fabric Kafka入门

　　Hyperledger Fabric推荐Kafa用于生产环境。Kafa是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在Hyperledger Fabric区块链中可以有多个Kafka节点，使用zookeeper进行同步管理。本文将介绍Kfaka的基本工作原理，以及在HyperledgerFabric中使用Kafka和zookeeper实现共识的原理，并通过一个实例剖析Hyperledger Farbic中Kafka共识的达成过程。

　　如果希望快速掌握Fabric区块链的链码及应用开发，建议访问汇智网的在线互动课程：

　　Fabric区块链Java开发详解

　　Fabric区块链NodeJs开发详解

　　一、Kafka工作原理

　　Kafka本质上是一个消息处理系统，它使用的是经典的发布-订阅模型。消息的消费者订阅特定的主题，以便收到新消息的通知，生产者则负责消息的发布。

　　

　　当主题的数据规模变得越来越大时，可以拆分为多个分区，Kafka保障在一个分区内的消息是按顺序排列的。

　　Kafka并不跟踪消费者读取了哪些消息，也不会自动删除已经读取的消息。Kafka会保存消息一段时间，例如一天，或者直到数据规模超过一定的阈值。消费者需要轮询新的消息，这是的他们可以根据自己的需求来定位消息，因此可以重放或重新处理事件。消费者处于不同的消费者分组，对应一个或多个消费者进程。每个分区被分贝给单一的消费者进程，因此同样的消息不会被多次读取。

　　崩溃容错机制是通过在多个Kafka代理之间复制分区来实现的。因此如果一个代理由于软件或硬件故障挂掉，数据也不会丢失。当然接下来还需要一个领导-跟随机制，领导者持有分区，跟随者则进行分区的复制。当领导者挂掉后，会有某个跟随者转变为新的领导者。

　　如果一个消费者订阅了某个主体，那么它怎么知道从哪个分区领导者来读取订阅的消息?

　　答案在于zookeeper服务。

　　zookeeper是一个分布式key-value存储库，通常用于存储元数据及集群机制的实现。zookeeper允许服务(Kafka代理)的客户端订阅变化并获得实时通知。这就是代理如何确定应当使用哪个分区领导者的原因。zookeeper有超强的故障容错能力，因此Kafka的运行严重依赖于它。

　　在zookeeper中存储的元数据包括：

　　消费者分组在每个分区的读取偏移量

　　访问控制清单，用于访问授权与限制

　　生产者及消费者配额，每秒最多消息数量

　　分区领导者及健康信息

　　二、Hyperledger Fabric中的Kafka

　　要理解在超级账本Hyperledger Fabric中的Kafka是如何工作的，首先需要理解几个重要的术语：

　　Chain - 指的是一组客户端(通道/channel)可以访问的日志

　　Channel - 一个通道类似于一个主题，授权的对等节点(peer)可以订阅并且成为通道的成员。 只有通道的成员可以在通道上交易，一个通道中的交易在其他通道中看不到。

　　OSN - 即排序服务节点(Ordering Service Node)，在Fabric中被称为排序节点。排序节点负责：

　　进行客户鉴权

　　允许客户端通过一个简单的接口写入或读取通道

　　执行配置交易的过滤与验证，实现通道的重新配置或创建新的通道

　　RPC - 即远程过程调用(Remote Procedure Call)，是一种用于调用其他机器上的服务而无需了解 通信与实现细节的通信协议，目的是像调用本地函数一样调用网络中其他机器上的函数

　　广播PRC - 交易提交调用，由排序节点执行

　　分发RPC - 交易分发请求，当交易由kafka代理处理后，分发给请求节点

　　注意，虽然在Hyperledger Fabric中Kafka被称为共识(Consensus)，但是其核心是交易排序服务以及额外的崩溃容错能力。

　　在Hyperledger Fabric中的Kafka实际运行逻辑如下：

　　对于每一条链，都有一个对应的分区

　　每个链对应一个单一的分区主题

　　排序节点负责将来自特定链的交易(通过广播RPC接收)中继到对应的分区

　　排序节点可以读取分区并获得在所有排序节点间达成一致的排序交易列表

　　一个链中的交易是定时分批处理的，也就是说当一个新的批次的第一个交易进来时，开始计时

　　当交易达到最大数量时或超时后进行批次切分，生成新的区块

　　定时交易是另一个交易，由上面描述的定时器生成

　　每个排序节点为每个链维护一个本地日志，生成的区块保存在本地账本中

　　交易区块通过分发RPC返回客户端

　　当发生崩溃时，可以利用不同的排序节点分发区块，因为所有的排序节点都维护有本地日志

　　

　　三、Hyperledger Fabric Kafka实例解析

　　考虑下图，假设排序节点OSN0和OSN2时连接到广播客户端，OSN1连接到分发客户端。

　　

　　OSN0已经有了交易foo，中继到kafka集群

　　此时OSN2将交易baz广播到集群中

　　最后，交易bar由OSN0发送到集群中

　　集群现在有三个交易，可以在图中看到三个交易的在日志中的位置偏移量

　　客户端发送分发请求，在OSN1的本地日志中，上述三个交易在4#区块里。

　　因此OSN1将4#区块返回客户端，处理结束

　　Kakfa的高性能对于Hyperledger Fabric有很大的帮助，多个排序节点通过Kafka实现同步，而Kafka本身并不是排序节点，它只是将排序节点通过流连接起来。虽然Kafka支持崩溃容错，它并不能提供对网络中恶意攻击的保护。需要一种拜占庭容错方案(BFT)才可以对抗恶意的攻击，但是目前在Farbic框架中还有待实现这一机制。

　　总而言之，在Hyperledger Farbic中，Kafka共识模块是可以用于生产环境的，它可以支持崩溃容错，但无法对抗恶意攻击。

 

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法¹ 功能；
6. 增加了 多屏幕编辑 Markdown文章功能；
7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. mermaid语法说明 ↩︎

2. 注脚的解释 ↩︎