3、kafka集群部署

于 2021-01-24 18:21:11 发布
阅读量144 收藏
点赞数
分类专栏： 区块链
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45335413/article/details/113094533
版权

kafka集群部署

1. 准备工作

名称IP地址Hostname组织结构
zk1192.168.247.101zookeeper1
zk2192.168.247.102zookeeper2
zk3192.168.247.103zookeeper3
kafka1192.168.247.201kafka1
kafka2192.168.247.202kafka2
kafka3192.168.247.203kafka3
kafka4192.168.247.204kafka4
orderer0192.168.247.91orderer0.test.com
orderer1192.168.247.92orderer1.test.com
orderer2192.168.247.93orderer2.test.com
peer0192.168.247.81peer0.orggo.test.comOrgGo
peer0192.168.247.82peer0.orgcpp.test.comOrgCpp

为了保证整个集群的正常工作, 需要给集群中的各个节点设置工作目录, 我们要保证各个节点工作目录是相同的

# 在以上各个节点的家目录创建工作目录:
$ mkdir ~/kafka

2. 生成证书文件

2.1 编写配置文件

# crypto-config.yaml
OrdererOrgs:
  - Name: Orderer
    Domain: test.com
    Specs:
      - Hostname: orderer0	# 第1个排序节点: orderer0.test.com
      - Hostname: orderer1	# 第2个排序节点: orderer1.test.com
      - Hostname: orderer2  # 第3个排序节点: orderer2.test.com

PeerOrgs:
  - Name: OrgGo
    Domain: orggo.test.com
    Template:
      Count: 2  # 当前go组织两个peer节点
    Users:
      Count: 1

  - Name: OrgCpp
    Domain: orgcpp.test.com
    Template:
      Count: 2  # 当前cpp组织两个peer节点
    Users:
      Count: 1

2.2 生成证书

$ cryptogen generate --config=crypto-config.yaml
$ tree ./ -L 1
./
├── `crypto-config`   -> 证书文件目录
└── crypto-config.yaml

3. 生成创始块和通道文件

3.1 编写配置文件

配置文件名configtx.yaml这个名字是固定的, 不可修改的


---
################################################################################
#
#   Section: Organizations
#
#   - This section defines the different organizational identities which will
#   be referenced later in the configuration.
#
################################################################################
Organizations:
    - &OrdererOrg
        Name: OrdererOrg
        ID: OrdererMSP
        MSPDir: crypto-config/ordererOrganizations/test.com/msp

    - &go_org
        Name: OrgGoMSP
        ID: OrgGoMSP
        MSPDir: crypto-config/peerOrganizations/orggo.test.com/msp
        AnchorPeers:
            - Host: peer0.orggo.test.com
              Port: 7051

    - &cpp_org
        Name: OrgCppMSP
        ID: OrgCppMSP
        MSPDir: crypto-config/peerOrganizations/orgcpp.test.com/msp
        AnchorPeers:
            - Host: peer0.orgcpp.test.com
              Port: 7051

################################################################################
#
#   SECTION: Capabilities
#
################################################################################
Capabilities:
    Global: &ChannelCapabilities
        V1_1: true
    Orderer: &OrdererCapabilities
        V1_1: true
    Application: &ApplicationCapabilities
        V1_2: true

################################################################################
#
#   SECTION: Application
#
################################################################################
Application: &ApplicationDefaults
    Organizations:

################################################################################
#
#   SECTION: Orderer
#
################################################################################
Orderer: &OrdererDefaults
    # Available types are "solo" and "kafka"
    OrdererType: kafka
    Addresses:
        # 排序节点服务器地址
        - orderer0.test.com:7050
        - orderer1.test.com:7050
        - orderer2.test.com:7050

    BatchTimeout: 2s
    BatchSize:
        MaxMessageCount: 10
        AbsoluteMaxBytes: 99 MB
        PreferredMaxBytes: 512 KB
    Kafka:
        Brokers: 
            # kafka服务器地址
            - 192.168.247.201:9092
            - 192.168.247.202:9092
            - 192.168.247.203:9092
            - 192.168.247.204:9092
    Organizations:

################################################################################
#
#   Profile
#
################################################################################
Profiles:
    OrgsOrdererGenesis:
        Capabilities:
            <<: *ChannelCapabilities
        Orderer:
            <<: *OrdererDefaults
            Organizations:
                - *OrdererOrg
            Capabilities:
                <<: *OrdererCapabilities
        Consortiums:
            SampleConsortium:
                Organizations:
                    - *go_org
                    - *cpp_org
    OrgsChannel:
        Consortium: SampleConsortium
        Application:
            <<: *ApplicationDefaults
            Organizations:
                - *go_org
                - *cpp_org
            Capabilities:
                <<: *ApplicationCapabilities

3.2 生成通道和创始块文件

  • 生成创始块文件

    # 我们先创建一个目录 channel-artifacts 存储生成的文件, 目的是为了和后边的配置文件模板的配置项保持一致
$ mkdir channel-artifacts
# 生成通道文件
$ configtxgen -profile OrgsOrdererGenesis -outputBlock ./channel-artifacts/genesis.block

  • 生成通道文件

    # 生成创始块文件
$ configtxgen -profile OrgsChannel -outputCreateChannelTx ./channel-artifacts/channel.tx -channelID testchannel

4. Zookeeper设置

4.1 基本概念

Zookeeper一种在分布式系统中被广泛用来作为分布式状态管理、分布式协调管理、分布式配置管理和分布式锁服务的集群。

  • zookeeper 的运作流程

    在配置之前, 让我们先了解一下 Zookeeper 的基本运转流程:

    • 选举Leader
      • 选举Leader过程中算法有很多，但要达到的选举标准是一致的
      • Leader要具有最高的执行ID，类似root权限。
      • 集群中大多数的机器得到响应并跟随选出的Leader。
    • 数据同步

  • Zookeeper的集群数量

    Zookeeper 集群的数量可以是 3, 5, 7, 它值需要是一个奇数以避免脑裂问题（split-brain）的情况。同时选择大于1的值是为了避免单点故障，如果集群的数量超过7个Zookeeper服务将会无法承受。

4.2 zookeeper配置文件模板

  • 配置文件模板

    下面我们来看一个示例配置文件, 研究下zookeeper如何配置:

    version: '2'
services:
  zookeeper1: # 服务器名, 自己起
    container_name: zookeeper1 # 容器名, 自己起
    hostname: zookeeper1	# 访问的主机名, 自己起, 需要和IP有对应关系
    image: hyperledger/fabric-zookeeper:latest
    restart: always	# 指定为always
    environment:
      # ID在集合中必须是唯一的并且应该有一个值，在1和255之间。
      - ZOO_MY_ID=1
      # server.x=hostname:prot1:port2
      - ZOO_SERVERS=server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    extra_hosts:
      - zookeeper1:192.168.24.201
      - zookeeper2:192.168.24.202
      - zookeeper3:192.168.24.203
      - kafka1:192.168.24.204
      - kafka2:192.168.24.205
      - kafka3:192.168.24.206
      - kafka4:192.168.24.207

  • 相关配置项解释:

    1. docker 的restart策略

      • no – 容器退出时不要自动重启，这个是默认值。
      • on-failure[:max-retries] – 只在容器以非0状态码退出时重启， 例如：on-failure:10
      • always – 不管退出状态码是什么始终重启容器
      • unless-stopped – 不管退出状态码是什么始终重启容器，不过当daemon启动时，如果容器之前已经为停止状态，不要尝试启动它。

    2. 环境变量

      • ZOO_MY_ID

        zookeeper集群中的当前zookeeper服务器节点的ID, 在集群中这个只是唯一的, 范围: 1-255

      • ZOO_SERVERS

        • 组成zookeeper集群的服务器列表
        • 列表中每个服务器的值都附带两个端口号
          • 第一个: 追随者用来连接 Leader 使用的
          • 第二个: 用户选举 Leader

    3. zookeeper服务器中三个重要端口:

      • 访问zookeeper的端口: 2181
      • zookeeper集群中追随者连接 Leader 的端口: 2888
      • zookeeper集群中选举 Leader 的端口: 3888

    4. extra_hosts

      • 设置服务器名和其指向的IP地址的对应关系
      • zookeeper1:192.168.24.201
        • 看到名字zookeeper1就会将其解析为IP地址: 192.168.24.201

4.3 各个zookeeper节点的配置

zookeeper1 配置
# zookeeper1.yaml
version: '2'

services:

  zookeeper1:
    container_name: zookeeper1
    hostname: zookeeper1
    image: hyperledger/fabric-zookeeper:latest
    restart: always
    environment:
      # ID在集合中必须是唯一的并且应该有一个值，在1和255之间。
      - ZOO_MY_ID=1
      # server.x=[hostname]:nnnnn[:nnnnn]
      - ZOO_SERVERS=server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
zookeeper2 配置
# zookeeper2.yaml
version: '2'

services:

  zookeeper2:
    container_name: zookeeper2
    hostname: zookeeper2
    image: hyperledger/fabric-zookeeper:latest
    restart: always
    environment:
      # ID在集合中必须是唯一的并且应该有一个值，在1和255之间。
      - ZOO_MY_ID=2
      # server.x=[hostname]:nnnnn[:nnnnn]
      - ZOO_SERVERS=server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
zookeeper3 配置
# zookeeper3.yaml
version: '2'

services:

  zookeeper3:
    container_name: zookeeper3
    hostname: zookeeper3
    image: hyperledger/fabric-zookeeper:latest
    restart: always
    environment:
      # ID在集合中必须是唯一的并且应该有一个值，在1和255之间。
      - ZOO_MY_ID=3
      # server.x=[hostname]:nnnnn[:nnnnn]
      - ZOO_SERVERS=server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204

5. Kafka设置

5.1 基本概念

Katka是一个分布式消息系统，由LinkedIn使用scala编写，用作LinkedIn的活动流（Activitystream)和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。

在Fabric网络中，数据是由Peer节点提交到Orderer排序服务，而Orderer相对于Kafka来说相当于上游模块，且Orderer还兼具提供了对数据进行排序及生成符合配置规范及要求的区块。而使用上游模块的数据计算、统计、分析，这个时候就可以使用类似于Kafka这样的分布式消息系统来协助业务流程。

有人说Kafka是一种共识模式，也就是说平等信任，所有的HyperLedger Fabric网络加盟方都是可信方，因为消息总是均匀地分布在各处。但具体生产使用的时候是依赖于背书来做到确权，相对而言，Kafka应该只能是一种启动Fabric网络的模式或类型。

Zookeeper一种在分布式系统中被广泛用来作为分布式状态管理、分布式协调管理、分布式配置管理和分布式锁服务的集群。Kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件，Kafka系统会捕获这些事件，进行新一轮的负载均衡，客户端也会捕获这些事件来进行新一轮的处理。

Orderer排序服务是Fablic网络事务流中的最重要的环节，也是所有请求的点，它并不会立刻对请求给予回馈，一是因为生成区块的条件所限，二是因为依托下游集群的消息处理需要等待结果。

5.2 kafka配置文件模板

  • kafka配置文件模板

    version: '2'

services:
  kafka1: 
    container_name: kafka1
    hostname: kafka1
    image: hyperledger/fabric-kafka:latest
    restart: always
    environment:
      # broker.id
      - KAFKA_BROKER_ID=1
      - KAFKA_MIN_INSYNC_REPLICAS=2
      - KAFKA_DEFAULT_REPLICATION_FACTOR=3
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
      # 99 * 1024 * 1024 B
      - KAFKA_MESSAGE_MAX_BYTES=103809024 
      - KAFKA_REPLICA_FETCH_MAX_BYTES=103809024 # 99 * 1024 * 1024 B
      - KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      - KAFKA_LOG_RETENTION_MS=-1
      - KAFKA_HEAP_OPTS=-Xmx256M -Xms128M
    ports:
      - 9092:9092
    extra_hosts:
      - "zookeeper1:192.168.24.201"
      - zookeeper2:192.168.24.202
      - zookeeper3:192.168.24.203
      - kafka1:192.168.24.204
      - kafka2:192.168.24.205
      - kafka3:192.168.24.206
      - kafka4:192.168.24.207

  • 配置项解释

    1. Kafka 默认端口为: 9092
    2. 环境变量:
    • KAFKA_BROKER_ID
      • 是一个唯一的非负整数, 可以作为代理Broker的名字
    • KAFKA_MIN_INSYNC_REPLICAS
      • 最小同步备份
      • 该值要小于环境变量 KAFKA_DEFAULT_REPLICATION_FACTOR的值
    • KAFKA_DEFAULT_REPLICATION_FACTOR
      • 默认同步备份, 该值要小于kafka集群数量
    • KAFKA_ZOOKEEPER_CONNECT
      • 指向zookeeper节点的集合
    • KAFKA_MESSAGE_MAX_BYTES
      • 消息的最大字节数
      • 和配置文件configtx.yaml中的Orderer.BatchSize.AbsoluteMaxBytes对应
      • 由于消息都有头信息, 所以这个值要比计算出的值稍大, 多加1M就足够了
    • KAFKA_REPLICA_FETCH_MAX_BYTES=103809024
      • 副本最大字节数, 试图为每个channel获取的消息的字节数
      • AbsoluteMaxBytes<KAFKA_REPLICA_FETCH_MAX_BYTES <= KAFKA_MESSAGE_MAX_BYTES
    • KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      • 非一致性的 Leader 选举
        • 开启: true
        • 关闭: false
    • KAFKA_LOG_RETENTION_MS=-1
      • 对压缩日志保留的最长时间
      • 这个选项在Kafka中已经默认关闭
    • KAFKA_HEAP_OPTS
      • 设置堆内存大小, kafka默认为 1G
        • -Xmx256M -> 允许分配的堆内存
        • -Xms128M -> 初始分配的堆内存

5.3 各个kafka节点的配置

kafka1 配置
# kafka1.yaml
version: '2'

services:

  kafka1:
    container_name: kafka1
    hostname: kafka1
    image: hyperledger/fabric-kafka:latest
    restart: always
    environment:
      # broker.id
      - KAFKA_BROKER_ID=1
      - KAFKA_MIN_INSYNC_REPLICAS=2
      - KAFKA_DEFAULT_REPLICATION_FACTOR=3
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
      # 100 * 1024 * 1024 B
      - KAFKA_MESSAGE_MAX_BYTES=104857600 
      - KAFKA_REPLICA_FETCH_MAX_BYTES=104857600
      - KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      - KAFKA_LOG_RETENTION_MS=-1
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
    ports:
      - 9092:9092
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
kafka2 配置
# kafka2.yaml
version: '2'

services:

  kafka2:
    container_name: kafka2
    hostname: kafka2
    image: hyperledger/fabric-kafka:latest
    restart: always
    environment:
      # broker.id
      - KAFKA_BROKER_ID=2
      - KAFKA_MIN_INSYNC_REPLICAS=2
      - KAFKA_DEFAULT_REPLICATION_FACTOR=3
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
      # 100 * 1024 * 1024 B
      - KAFKA_MESSAGE_MAX_BYTES=104857600 
      - KAFKA_REPLICA_FETCH_MAX_BYTES=104857600
      - KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      - KAFKA_LOG_RETENTION_MS=-1
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
    ports:
      - 9092:9092
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
kafka3 配置
# kafka3.yaml
version: '2'

services:

  kafka3:
    container_name: kafka3
    hostname: kafka3
    image: hyperledger/fabric-kafka:latest
    restart: always
    environment:
      # broker.id
      - KAFKA_BROKER_ID=3
      - KAFKA_MIN_INSYNC_REPLICAS=2
      - KAFKA_DEFAULT_REPLICATION_FACTOR=3
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
      # 100 * 1024 * 1024 B
      - KAFKA_MESSAGE_MAX_BYTES=104857600 
      - KAFKA_REPLICA_FETCH_MAX_BYTES=104857600
      - KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      - KAFKA_LOG_RETENTION_MS=-1
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
    ports:
      - 9092:9092
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
kafka4 配置
# kafka4.yaml
version: '2'
services:

  kafka4:
    container_name: kafka4
    hostname: kafka4
    image: hyperledger/fabric-kafka:latest
    restart: always
    environment:
      # broker.id
      - KAFKA_BROKER_ID=4
      - KAFKA_MIN_INSYNC_REPLICAS=2
      - KAFKA_DEFAULT_REPLICATION_FACTOR=3
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
      # 100 * 1024 * 1024 B
      - KAFKA_MESSAGE_MAX_BYTES=104857600 
      - KAFKA_REPLICA_FETCH_MAX_BYTES=104857600
      - KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE=false
      - KAFKA_LOG_RETENTION_MS=-1
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
    ports:
      - 9092:9092
    extra_hosts:
      - zookeeper1:192.168.247.101
      - zookeeper2:192.168.247.102
      - zookeeper3:192.168.247.103
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204

6. orderer节点设置

6.1 orderer节点配置文件模板

  • orderer节点配置文件模板

    version: '2'

services:

  orderer0.example.com:
    container_name: orderer0.example.com
    image: hyperledger/fabric-orderer:latest
    environment:
      - CORE_VM_DOCKER_HOSTCONFIG_NETWORKMODE=aberic_default
      - ORDERER_GENERAL_LOGLEVEL=debug
      - ORDERER_GENERAL_LISTENADDRESS=0.0.0.0
      - ORDERER_GENERAL_LISTENPORT=7050
      - ORDERER_GENERAL_GENESISMETHOD=file
      - ORDERER_GENERAL_GENESISFILE=/var/hyperledger/orderer/orderer.genesis.block
      - ORDERER_GENERAL_LOCALMSPID=OrdererMSP
      - ORDERER_GENERAL_LOCALMSPDIR=/var/hyperledger/orderer/msp
      # enabled TLS
      - ORDERER_GENERAL_TLS_ENABLED=false
      - ORDERER_GENERAL_TLS_PRIVATEKEY=/var/hyperledger/orderer/tls/server.key
      - ORDERER_GENERAL_TLS_CERTIFICATE=/var/hyperledger/orderer/tls/server.crt
      - ORDERER_GENERAL_TLS_ROOTCAS=[/var/hyperledger/orderer/tls/ca.crt]
      
      - ORDERER_KAFKA_RETRY_LONGINTERVAL=10s
      - ORDERER_KAFKA_RETRY_LONGTOTAL=100s
      - ORDERER_KAFKA_RETRY_SHORTINTERVAL=1s
      - ORDERER_KAFKA_RETRY_SHORTTOTAL=30s
      - ORDERER_KAFKA_VERBOSE=true
      - ORDERER_KAFKA_BROKERS=[192.168.24.204:9092,192.168.24.205:9092,192.168.24.206:9092,192.168.24.207:9092]
    working_dir: /opt/gopath/src/github.com/hyperledger/fabric
    command: orderer
    volumes:
      - ./channel-artifacts/genesis.block:/var/hyperledger/orderer/orderer.genesis.block
      - ./crypto-config/ordererOrganizations/example.com/orderers/orderer0.example.com/msp:/var/hyperledger/orderer/msp
      - ./crypto-config/ordererOrganizations/example.com/orderers/orderer0.example.com/tls/:/var/hyperledger/orderer/tls
    networks:
      default:
        aliases:
          - aberic
    ports:
      - 7050:7050
    extra_hosts:
      - kafka1:192.168.24.204
      - kafka2:192.168.24.205
      - kafka3:192.168.24.206
      - kafka4:192.168.24.207

  • 细节解释

    1. 环境变量
      • ORDERER_KAFKA_RETRY_LONGINTERVAL
        • 每隔多长时间进行一次重试, 单位:秒
      • ORDERER_KAFKA_RETRY_LONGTOTAL
        • 总共重试的时长, 单位: 秒
      • ORDERER_KAFKA_RETRY_SHORTINTERVAL
        • 每隔多长时间进行一次重试, 单位:秒
      • ORDERER_KAFKA_RETRY_SHORTTOTAL
        • 总共重试的时长, 单位: 秒
      • ORDERER_KAFKA_VERBOSE
        • 启用日志与kafka进行交互, 启用: true, 不启用: false
      • ORDERER_KAFKA_BROKERS
        • 指向kafka节点的集合
    2. 关于重试的时长
      • 先使用ORDERER_KAFKA_RETRY_SHORTINTERVAL进行重连, 重连的总时长为ORDERER_KAFKA_RETRY_SHORTTOTAL
      • 如果上述步骤没有重连成功, 使用ORDERER_KAFKA_RETRY_LONGINTERVAL进行重连, 重连的总时长为ORDERER_KAFKA_RETRY_LONGTOTAL

6.3 orderer各节点的配置

orderer0配置
# orderer0.yaml
version: '2'

services:

  orderer0.test.com:
    container_name: orderer0.test.com
    image: hyperledger/fabric-orderer:latest
    environment:
      - CORE_VM_DOCKER_HOSTCONFIG_NETWORKMODE=kafka_default
      - ORDERER_GENERAL_LOGLEVEL=debug
      - ORDERER_GENERAL_LISTENADDRESS=0.0.0.0
      - ORDERER_GENERAL_LISTENPORT=7050
      - ORDERER_GENERAL_GENESISMETHOD=file
      - ORDERER_GENERAL_GENESISFILE=/var/hyperledger/orderer/orderer.genesis.block
      - ORDERER_GENERAL_LOCALMSPID=OrdererMSP
      - ORDERER_GENERAL_LOCALMSPDIR=/var/hyperledger/orderer/msp
      # enabled TLS
      - ORDERER_GENERAL_TLS_ENABLED=false
      - ORDERER_GENERAL_TLS_PRIVATEKEY=/var/hyperledger/orderer/tls/server.key
      - ORDERER_GENERAL_TLS_CERTIFICATE=/var/hyperledger/orderer/tls/server.crt
      - ORDERER_GENERAL_TLS_ROOTCAS=[/var/hyperledger/orderer/tls/ca.crt]
      
      - ORDERER_KAFKA_RETRY_LONGINTERVAL=10s
      - ORDERER_KAFKA_RETRY_LONGTOTAL=100s
      - ORDERER_KAFKA_RETRY_SHORTINTERVAL=1s
      - ORDERER_KAFKA_RETRY_SHORTTOTAL=30s
      - ORDERER_KAFKA_VERBOSE=true
      - ORDERER_KAFKA_BROKERS=[192.168.247.201:9092,192.168.247.202:9092,192.168.247.203:9092,192.168.247.204:9092]
    working_dir: /opt/gopath/src/github.com/hyperledger/fabric
    command: orderer
    volumes:
      - ./channel-artifacts/genesis.block:/var/hyperledger/orderer/orderer.genesis.block
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer0.test.com/msp:/var/hyperledger/orderer/msp
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer0.test.com/tls/:/var/hyperledger/orderer/tls
    networks:
    default:
      aliases:
        - kafka
    ports:
      - 7050:7050
    extra_hosts:
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
orderer1配置
# orderer1.yaml
version: '2'

services:

  orderer1.test.com:
    container_name: orderer1.test.com
    image: hyperledger/fabric-orderer:latest
    environment:
      - CORE_VM_DOCKER_HOSTCONFIG_NETWORKMODE=kafka_default
      - ORDERER_GENERAL_LOGLEVEL=debug
      - ORDERER_GENERAL_LISTENADDRESS=0.0.0.0
      - ORDERER_GENERAL_LISTENPORT=7050
      - ORDERER_GENERAL_GENESISMETHOD=file
      - ORDERER_GENERAL_GENESISFILE=/var/hyperledger/orderer/orderer.genesis.block
      - ORDERER_GENERAL_LOCALMSPID=OrdererMSP
      - ORDERER_GENERAL_LOCALMSPDIR=/var/hyperledger/orderer/msp
      # enabled TLS
      - ORDERER_GENERAL_TLS_ENABLED=false
      - ORDERER_GENERAL_TLS_PRIVATEKEY=/var/hyperledger/orderer/tls/server.key
      - ORDERER_GENERAL_TLS_CERTIFICATE=/var/hyperledger/orderer/tls/server.crt
      - ORDERER_GENERAL_TLS_ROOTCAS=[/var/hyperledger/orderer/tls/ca.crt]
      
      - ORDERER_KAFKA_RETRY_LONGINTERVAL=10s
      - ORDERER_KAFKA_RETRY_LONGTOTAL=100s
      - ORDERER_KAFKA_RETRY_SHORTINTERVAL=1s
      - ORDERER_KAFKA_RETRY_SHORTTOTAL=30s
      - ORDERER_KAFKA_VERBOSE=true
      - ORDERER_KAFKA_BROKERS=[192.168.247.201:9092,192.168.247.202:9092,192.168.247.203:9092,192.168.247.204:9092]
    working_dir: /opt/gopath/src/github.com/hyperledger/fabric
    command: orderer
    volumes:
      - ./channel-artifacts/genesis.block:/var/hyperledger/orderer/orderer.genesis.block
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer1.test.com/msp:/var/hyperledger/orderer/msp
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer1.test.com/tls/:/var/hyperledger/orderer/tls
    networks:
    default:
      aliases:
        - kafka
    ports:
      - 7050:7050
    extra_hosts:
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204
orderer2配置
# orderer2.yaml
version: '2'

services:

  orderer2.test.com:
    container_name: orderer2.test.com
    image: hyperledger/fabric-orderer:latest
    environment:
      - CORE_VM_DOCKER_HOSTCONFIG_NETWORKMODE=kafka_default
      - ORDERER_GENERAL_LOGLEVEL=debug
      - ORDERER_GENERAL_LISTENADDRESS=0.0.0.0
      - ORDERER_GENERAL_LISTENPORT=7050
      - ORDERER_GENERAL_GENESISMETHOD=file
      - ORDERER_GENERAL_GENESISFILE=/var/hyperledger/orderer/orderer.genesis.block
      - ORDERER_GENERAL_LOCALMSPID=OrdererMSP
      - ORDERER_GENERAL_LOCALMSPDIR=/var/hyperledger/orderer/msp
      # enabled TLS
      - ORDERER_GENERAL_TLS_ENABLED=false
      - ORDERER_GENERAL_TLS_PRIVATEKEY=/var/hyperledger/orderer/tls/server.key
      - ORDERER_GENERAL_TLS_CERTIFICATE=/var/hyperledger/orderer/tls/server.crt
      - ORDERER_GENERAL_TLS_ROOTCAS=[/var/hyperledger/orderer/tls/ca.crt]
      
      - ORDERER_KAFKA_RETRY_LONGINTERVAL=10s
      - ORDERER_KAFKA_RETRY_LONGTOTAL=100s
      - ORDERER_KAFKA_RETRY_SHORTINTERVAL=1s
      - ORDERER_KAFKA_RETRY_SHORTTOTAL=30s
      - ORDERER_KAFKA_VERBOSE=true
      - ORDERER_KAFKA_BROKERS=[192.168.247.201:9092,192.168.247.202:9092,192.168.247.203:9092,192.168.247.204:9092]
    working_dir: /opt/gopath/src/github.com/hyperledger/fabric
    command: orderer
    volumes:
      - ./channel-artifacts/genesis.block:/var/hyperledger/orderer/orderer.genesis.block
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer2.test.com/msp:/var/hyperledger/orderer/msp
      - ./crypto-config/ordererOrganizations/test.com/orderers/orderer2.test.com/tls/:/var/hyperledger/orderer/tls
    networks:
    default:
      aliases:
        - kafka
    ports:
      - 7050:7050
    extra_hosts:
      - kafka1:192.168.247.201
      - kafka2:192.168.247.202
      - kafka3:192.168.247.203
      - kafka4:192.168.247.204

7. 启动集群

Kafka集群的启动顺序是这样的: 先启动Zookeeper集群, 随后启动Kafka集群, 最后启动Orderer排序服务器集群。由于peer节点只能和集群中orderer节点进行通信, 所以不管是使用solo集群还是kafka集群对peer都是没有影响的, 所以当我们的kafka集群顺利启动之后, 就可以启动对应的Peer节点了。

7.1 启动Zookeeper集群

  • zookeeper1:192.168.247.101

    $ cd ~/kafka
# 将写好的 zookeeper1.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
# 该命令可以不加 -d 参数, 这样就能看到当前 zookeeper 服务器启动的情况了
$ docker-compose -f zookeeper1.yaml up

  • zookeeper2:192.168.247.102

    $ cd ~/kafka
# 将写好的 zookeeper2.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
# 该命令可以不加 -d 参数, 这样就能看到当前 zookeeper 服务器启动的情况了
$ docker-compose -f zookeeper2.yaml up

  • zookeeper3:192.168.247.103

    $ cd ~/kafka
# 将写好的 zookeeper3.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
# 该命令可以不加 -d 参数, 这样就能看到当前 zookeeper 服务器启动的情况了
$ docker-compose -f zookeeper3.yaml up

7.2 启动Kafka集群

  • kafka1:192.168.247.201

    $ cd ~/kafka
# 将写好的 kafka1.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
# 该命令可以不加 -d 参数, 这样就能看到当前 kafka 服务器启动的情况了
$ docker-compose -f kafka1.yaml up

  • kafka2:192.168.247.202

    $ cd ~/kafka
# 将写好的 kafka2.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f kafka2.yaml up -d

  • kafka3:192.168.247.203

    $ cd ~/kafka
# 将写好的 kafka3.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f kafka3.yaml up -d

  • kafka4:192.168.247.204

    $ cd ~/kafka
# 将写好的 kafka4.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f kafka4.yaml up

7.3 启动Orderer集群

  • orderer0:192.168.247.91

    $ cd ~/kafka
# 假设生成证书和通道创始块文件操作是在当前 orderer0 上完成的, 那么应该在当前 kafka 工作目录下
$ tree ./ -L 1
./
├── channel-artifacts
├── configtx.yaml
├── crypto-config
└── crypto-config.yaml
# 将写好的 orderer0.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f orderer0.yaml up -d

  • orderer1:192.168.247.92

    # 将生成的 证书文件目录 和 通道创始块 文件目录拷贝到当前主机的 ~/kafka目录中
$ cd ~/kafka
# 创建子目录 crypto-config
$ mkdir crypto-config
# 远程拷贝
$ scp -f itcast@192.168.247.91:/home/itcast/kafka/crypto-config/ordererOrganizations ./crypto-config
# # 将写好的 orderer1.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f orderer1.yaml up -d

  • orderer2:192.168.247.93

    # 将生成的 证书文件目录 和 通道创始块 文件目录拷贝到当前主机的 ~/kafka目录中
$ cd ~/kafka
# 创建子目录 crypto-config
$ mkdir crypto-config
# 远程拷贝
$ scp -f itcast@192.168.247.91:/home/itcast/kafka/crypto-config/ordererOrganizations ./crypto-config
# # 将写好的 orderer3.yaml 配置文件放到该目录下, 通过 docker-compose 启动容器
$ docker-compose -f orderer3.yaml up -d

7.4 启动Peer集群

关于 Peer 节点的部署和操作和 Solo 多机多节点部署的方式是完全一样的, 在此不再阐述, 请翻阅相关文档。

乱画十八笔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hyperledger Fabric kafka配置
03-09
Hyperledger Fabric默认使用solo共识，实际上它早就已经支持kafka共识，只是配置相对复杂点儿。该资源就是使用kafka共识的多orderer集群环境下的网络所需要使用的配置文件。你也可以参考下文帮您理解：http://blog.csdn.net/binbinxyz/article/details/79491254
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
在Hyperledger fabric中搭建小型Kafka集群
lk2684753的博客
11-18 1214
kafka集群部署 1.准备工作 名称 IP地址 Hostname 组织结构 zk1 192.168.247.101 zookeeper1 zk2 192.168.247.102 zookeeper2 zk3 192.168.247.103 zookeeper3 kafka1 192.168.247.201 kafka1 kafka2 192.168.247...
HyperLedger Fabric开发实战 -Kafka集群部署
张亚平的博客
01-22 946
第5章 Kafka集群部署
Hyperledger Fabric基于kafka多机部署
baidu_25845567的博客
10-17 1463
各主机角色和安装的软件 主机编号 A B C D IP 45.32.103.254 149.28.146.218 207.148.75.101 66.42.57.57 角色 orderer0.example.com zookeeper1 kafka1 ca orderer1.exa...
基于Kafka共识的Fabric分布式环境搭建
Arvon
12-07 1151
测试环境服务器安排： 名称 IP Hostname 组织 备注 zookeeper1 10.16.3.97 zookeeper1 公共   zookeeper2 ...
kafka集群部署文档(部署，运维，FAQ)
06-27
kafka集群部署文档及kafka详解，包括kafka常用命令，详细部署说明，如何运维以及一些FAQ，下载app注册免费获取：http://m3w.cn/jcsh
linux Redhat Kafka集群部署
11-19
redhat linux 部署Kafka集群
Kafka集群部署
06-22
原创，Kafka集群部署，亲测可用。不懂可评论留言。文档写的简单60行搞定。
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
hyperledger fabric kafka集群配置文件
05-06
基于hyperledger fabric 1.4版本实现的kafka集群配置文件，环境搭建可以参考https://blog.csdn.net/u010857052/article/details/84309264。有任何问题可以评论下面留言。谢谢
CentOS7 - hyperledger fabric1.1 - 2+6多机部署（kafka共识）配置文件
07-14
CentOS7 - hyperledger fabric1.1 - 2+6多机部署（kafka共识）配置文件
Ubuntu16.4部署fabric1.4+kafka集群最新最完整
01-08
环境角色规划如下，7台服务器hosts文件统一配置： vim /etc/hosts 10.12.237.103     orderer0.example.com 10.12.236.210     orderer1.example.com 10.12.237.112     orderer2.example.com 10.12.237.114     peer0.org1.example.com 10.12.237.120     peer1.org1.example.com 10.12.237.127     peer0.org2.example.com 10.12.237.132     
Fabric kafka多机部署配置文件
09-18
fabric kafka多机部署， 已经正常启动， 交易同步。
超级账本 Fabric 区块链在K8S集群中的部署样例
06-21
超级账本 Fabric 区块链在kubernetes集群中的部署样例
Hyperledger Fabric Kafka 环境搭建
GitChat
05-14 1252
Hyperledger Fabric 共识目前有 Solo 及 Kafka 实现，本次 Chat 将基于最新的稳定版 Fabric 1.4 实现基于 Kafka 共识的分布式生产网络部署，并通过链码的安装部署来测试整个网络。 主要内容有： Fabric 基础环境的搭建（Docker、Docker Compose、Go）； Fabric 证书工具的使用； Fabric 基于 Kafka 共识的分布...
Hyperledger Fabric笔记--kafka共识的多orderer集群部署
热门推荐
斌斌(Java)
03-09 1万+
Hyperledger Fabric 1.0默认的共识是solo，即单节点共识。本文主要介绍基于kafka共识的orderer集群部署方案。 部署方案 zookeeper节点：3个 kafka节点：4个 orderer节点：3个 peer节点：4个 cli节点：1个 环境准备 配置本机GOPATH 下载hyperledger/fabric到本地：$GOPATH/src/git...
fabric1.1.0 kafka集群部署及查错
shirley_vacuum的专栏
09-10 953
1.环境声明      fabric1.1.0                   go1.8.3 linux/amd64                  Docker version 17.03.2-ce        2.节点部署                      IP              Hostname 172.20.6.145 ...
Hyperledger fabric基于kafka共识机制单机搭建
baidu_25845567的博客
10-21 1886
cd /opt/gopath/src/github.com/hyperledger/fabric/scripts/fabric-samples mkdir 181021 cd 181021 mkdir chaincode mkdir network cp ../../first-network/crypto-config.yaml ./ cp ../../first-network/config...
kafka集群部署docker
最新发布
08-16
你可以使用Docker来部署Kafka集群。下面是一个简单的步骤指南： 1. 首先，确保你已经安装了Docker和Docker Compose。 2. 创建一个新的目录，并在该目录中创建一个名为docker-compose.yml的文件。 3. 在docker-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值