微信公众号 多台服务器,在多台 Linux 服务器上搭建 Pulsar 集群

作者：高天赐

编辑：Irene

Pulsar 是一个支持多租户的、高性能的消息中间件。上一篇我们介绍了如何在 Mac 上搭建 Pulsar 集群，本文详细介绍如何在 3 台 Linux 服务器上搭建 Pulsar 集群。

一、准备资源

一台主机(本文以 MacOS 为例)。

3 台 Linux 裸机服务器，配置 4G，2 核。

JDK 8 运行环境。

下载 Pulsar 最新版本安装包。

二、集群组成说明

1.  搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群(Broker 是 Pulsar 的自身实例)。这三个集群组件如下：

ZooKeeper 集群(3 个 ZooKeeper 节点组成)

bookie 集群(也称为 BookKeeper 集群，3 个 BookKeeper 节点组成)

broker 集群(3 个 Pulsar 节点组成)

2.  Pulsar 的安装包已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper 安装包和 BookKeeper 安装包。

3.  3 台 Linux 服务器 IP 分别为 10.0.100.60，10.0.100.70 和 10.0.100.80。

如果是在内网测试环境搭建集群，为了避免防火墙造成端口开启繁琐，可以关闭服务器防火墙。

三、安装 JDK

在 3 台 Linux 裸机服务器上安装 JDK(要求版本不低于 JDK 8)。

下载 JDK。

把安装包上传至一台 Linux 服务器中。例如：/home/admin/jdk-8u201-linux-x64.tar.gz。

用如下命令新建 java 文件夹，把 JDK 安装包(jdk-8u201-linux-x64.tar.gz)解压到该文件夹中。

cd /usrsudo -u root mkdir javacp /home/admin/jdk-8u201-linux-x64.tar.gz  /usr/java/

cd java/tar -zxvf jdk-8u201-linux-x64.tar.gz

4.  编辑配置文件，配置环境变量。

# 编辑配置文件

vim /etc/profile

# 配置文件中添加以下配置信息JAVA_HOME=/usr/java/jdk1.8.0_201CLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexport PATH JAVA_HOME CLASSPATH

5.  让配置文件生效。

source /etc/profile

6.  检查 JDK 是否安装成功。若显示 JDK 版本，则安装成功。

java -version

按照以上步骤，在另外两台 Linux 服务器上安装 JDK。

四、创建集群环境

1.  在 Linux 服务器上创建三个文件夹：zookeepers、brokers、bookies。

# 在工作目录下创建三个文件夹：zookeepers、brokers、bookies

cd /home/adminmkdir zookeepersmkdir brokersmkdir bookies

2.  把下载的 Pulsar 安装包上传到 Linux 服务器，解压安装包。

# 解压安装包

tar -zxvf apache-pulsar-2.x.x-bin.tar.gz

3.  把解压后的文件分别复制到 3 个文件夹。

# 把解压后的文件分别复制到3个文件夹

cp -ir  /home/admin/apache-pulsar-2.x.x/*    /home/admin/zookeepers/cp -ir  /home/admin/apache-pulsar-2.x.x/*     /home/admin/brokers/cp -ir  /home/admin/apache-pulsar-2.x.x/*     /home/admin/bookies/

按照以上步骤，在另外两台 Linux 服务器上创建集群环境。

五、配置部署 ZooKeeper 集群

1.   新建文件夹，并写入配置内容。

# 新建文件目录

mkdir -p data/zookeeper

# 新建文件 myid，写入 1

echo 1 > data/zookeeper/myid

注意另外两台服务器的 myid 文件内容分别写入 2 和 3。

# 服务器 2

mkdir -p data/zookeeperecho 2 > data/zookeeper/myid

# 服务器 3

mkdir -p data/zookeeperecho 3 > data/zookeeper/myid

2.  配置 zookeeper.conf 文件。

# 指定 dataDir 目录dataDir=/home/admin/data/zookeeper

# zookeeper 节点地址

server.1=10.0.100.60:2888:3888server.2=10.0.100.70:2888:3888server.3=10.0.100.80:2888:3888

注意在另外两台服务器上，对 zookeeper.conf 文件进行完全相同的配置。

3.  在 zookeepers 目录中，执行启动命令。

# 进入 zookeepers 目录

cd /home/admin/zookeepers

# 执行后台运行命令

bin/pulsar-daemon start zookeeper

4.  验证 ZooKeeper 节点是否启动成功。

# 进入 zookeepers 目录

cd /home/admin/zookeepers

# 执行 zookeeper 客户端连接命令

bin/pulsar zookeeper-shell

注意Enter 键进入命令行界面后，可完全使用 ZooKeeper 的各种命令，如 ls、get 等命令。使用 quit 命令退出命令行界面。

5.  按照以上步骤，在另外两台服务器上部署 ZooKeeper 节点。

6.  在任一个 ZooKeeper 节点，初始化集群元数据。

# 进入 zookeepers 目录

cd /home/admin/zookeepers

# 执行命令初始化集群元数据

bin/pulsar initialize-cluster-metadata \--cluster pulsar-cluster \--zookeeper 10.0.100.60:2181 \--configuration-store 10.0.100.60:2181 \--web-service-url http://pulsar.cluster.com:8080 \--web-service-url-tls https://pulsar.cluster.com:8443 \--broker-service-url pulsar://pulsar.cluster.com:6650 \--broker-service-url-tls pulsar+ssl://pulsar.cluster.com:6651

7.  查看集群元数据是否初始化成功。

# 进入 zookeepers 目录

cd /home/admin/zookeepers

# 执行 ZooKeeper 客户端连接命令

bin/pulsar zookeeper-shell

# Enter键，使用 ZooKeeper 命令查看 ls /

# 看到如下图所内容，表示初始化成功

六、配置部署 BookKeeper 集群

1.  修改配置文件 bookkeeper.conf。

# 进入bookie 配置文件目录

cd /home/admin/bookies/conf

# 编辑 bookkeeper.conf 文件

vim bookkeeper.conf

# advertisedAddress 修改为服务器对应的ip,在另外两台服务器也做对应的修改advertisedAddress=10.0.100.60

# 修改以下两个文件目录地址journalDirectories=/home/admin/bookies/tmp/journalledgerDirectories=/home/admin/bookies/tmp/ledger

# 修改zk地址和端口信息zkServers=10.0.100.60:2181,10.0.100.70:2181,10.0.100.80:2181

2.  初始化元数据，并启动 bookie 集群。

# 先执行初始化元数据命令；再执行启动命令

# 进入 bookies 目录

cd  /home/admin/bookies

# 执行初始化元数据命令；若出现提示，输入 Y，继续(只需在一个bookie节点执行一次)

bin/bookkeeper shell metaformat

# 以后台进程启动bookie

bin/pulsar-daemon start bookie

3.  按照以上步骤，启动另外两个 bookie 节点。

4.  验证 bookie 是否启动成功。

# 进入 bookies 目录

cd  /home/admin/bookies

# 验证是否启动成功

bin/bookkeeper shell bookiesanity

# 出现如下显示，表示启动成功Bookie

sanity test succeeded.

七、部署配置 Broker 集群

1.  修改配置文件 broker.conf。

# 进入配置文件目录

cd /home/admin/brokers/conf

# 编辑 broker.conf 文件

# 修改集群名，和 ZooKeeper 里初始化元数据时指定的集群名(--cluster pulsar-cluster)相同clusterName=pulsar-cluster

# 修改如下两个配置，指定的都是 ZooKeeper 集群地址和端口号zookeeperServers=10.0.100.60:2181,10.0.100.70:2181,10.0.100.80:2181 configurationStoreServers=10.0.100.60:2181,10.0.100.70:2181,10.0.100.80:2181

# 修改如下参数为本服务器ip地址，另外两个 broker 节点配置文件也做对应修改advertisedAddress=10.0.100.60

2.  启动 broker 节点。

# 进入 brokers 目录

cd /home/admin/brokers

# 以后台进程启动 broker

bin/pulsar-daemon start broker

3.  按照以上步骤，对另外两个 broker 节点做对应配置，并启动 broker 节点。

4.  检查 JDK 是否安装成功。若显示 JDK 版本，则安装成功。

5.  查看集群中 brokers 节点信息，验证 broker 是否都启动成功。

# 进入任一个 broker 目录

cd /home/admin/brokers

# 查看集群 brokers 节点情况

bin/pulsar-admin brokers list pulsar-cluster

至此，集群 ZooKeeper，Broker，Bookie 节点启动完毕，集群部署成功！接下来可以进行 HelloWorld 测试！

八、测试 Pulsar

1.  依次创建集群、租户、命名空间、分区 topic，并为命名空间指定集群名。

# 进入 brokers 目录，选取任一个 broker 节点执行命令即可

cd /home/admin/brokers

# 创建集群(集群名:pulsar-cluster)

./bin/pulsar-admin clusters create --url http://pulsar.cluster.com:8080  pulsar-cluster

# 创建租户(租户名:my-tenant)

./bin/pulsar-admin tenants create my-tenant

# 创建命名空间(命名空间名：my-tenant/my-namespace，它指定了租户my-tenant)

./bin/pulsar-admin namespaces create my-tenant/my-namespace

# 创建持久性分区topic(topic全名:persistent://my-tenant/my-namespace/my-topic；分区数为 3)

./bin/pulsar-admin topics create-partitioned-topic persistent://my-tenant/my-namespace/my-topic -p 3

# 更新命名空间为其指定集群名

./bin/pulsar-admin namespaces set-clusters my-tenant/my-namespace --clusters pulsar-cluster

2.  设置 maven 依赖。

3.  创建生产者。

4.  创建消费者。

更多关于 Pulsar 的干货和动态分享，请关注公众号 StreamNative。

点击“阅读原文”，查看原作者 blog。