pulsar集群部署流程及方案

# 部署方案:
集群模式部署,broker和bookie混合部署,zk同时部署在三台机器上面(资源充足zk最好单独部署,注意pulsar和zk版本兼容性)

# 1.集群资源使用(实际测试情况CPU使用率比内存高,建议CPU设置大于内存,不同业务场景有差异)
三台主机centos7 16核16GB,每台挂载1TB机械硬盘(不包含系统盘)
集群节点: 192.168.0.107,192.168.0.108,192.168.0.109

Pulsar 社区的推荐的内存分配策略如下:
OS: 1 ~ 2 GB
JVM: 1/2
heap: 1/3
direct memory: 2/3
PageCache: 1/2

资源分配如下,zk集群同时部署,预留一部分内存给zk:
OS: 2GB
Broker: 4GB
heap: 1.5GB
direct memory: 2.5GB
Bookie: 4GB
heap: 1.25GB
direct memory: 2.75GB
PageCache: 6GB

# 2.创建集群管理用户和用户组,每个节点都创建执行
添加pulsar用户和用户组
useradd pulsar
groupadd pulsar
usermod -a -G pulsar pulsar

设置切换用户不需要密码
root用户下执行 visudo
文件最下面添加:
pulsar ALL=(ALL) NOPASSWD: ALL

授权挂载盘数据访问权限:
chmod -R 777 /data

polkit权限管理(pulsar授权执行systemctl命令)
vi /usr/share/polkit-1/actions/org.freedesktop.systemd1.policy
将对应manage-units的defaults中的授权全部改为yes
```
<defaults>
<allow_any>yes</allow_any>
<allow_inactive>yes</allow_inactive>
<allow_active>yes</allow_active>
</defaults>
```

重启polkit
systemctl restart polkit

# 3.关闭防火墙
查看防火墙状态: firewall-cmd --state
关闭防火墙:
systemctl stop firewalld
systemctl disable firewalld
systemctl disable iptables

# 4. 部署jdk11
yum install -y java-11-openjdk.x86_64
默认的安装目录是在: /usr/lib/jvm/java-11-openjdk-11.0.18.0.10-1.el7_9.x86_64

配置环境变量
vi /etc/profile

# 在profile文件末尾增加
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.18.0.10-1.el7_9.x86_64
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

# 使profile文件生效
source /etc/profile


# 5.部署zookeeper
5.1 下载资源:
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz

5.2 解压 tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz

5.3 配置 zookeeper
# 每个节点分别创建data,logs目录
mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/logs

# 节点一192.168.0.107
echo 1 > /data/zookeeper/data/myid
# 节点二192.168.0.108
echo 2 > /data/zookeeper/data/myid
# 节点三192.168.0.109
echo 3 > /data/zookeeper/data/myid

# 每个节点设置 zoo.cfg配置,systemctl启动配置
cat << END > apache-zookeeper-3.6.4-bin/conf/zoo.cfg
tickTime=2000
initLimit=300
syncLimit=10
maxClientCnxns=2000
maxSessionTimeout=60000000
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
preAllocSize=131072
snapCount=3000000
clientPort=2181
server.1=192.168.0.107:2888:3888
server.2=192.168.0.108:2888:3888
server.3=192.168.0.109:2888:3888

## zk Metrics Providers
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
4lw.commands.whitelist=mntr
END

systemctl启动配置:
cat << END > /etc/systemd/system/zookeeper.service
[Unit]
Description=zookeeper.service
After=network.target
ConditionPathExists=/data/apache-zookeeper-3.6.4-bin/conf/zoo.cfg
[Service]
Type=forking
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
User=pulsar
Group=pulsar
ExecStart=/data/apache-zookeeper-3.6.4-bin/bin/zkServer.sh start
ExecStop=/data/apache-zookeeper-3.6.4-bin/bin/zkServer.sh stop
Restart=always
[Install]
WantedBy=multi-user.target
END

5.4 启动zookeeper集群
三个节点执行:
# 重载
systemctl daemon-reload
# 加入开机启动
systemctl enable zookeeper
# 启动
systemctl start zookeeper

# 查看集群节点状态,这里不使用 systemctl status zookeeper -l 查看因为未提供集群选举信息,保证集群是可用状态
sh apache-zookeeper-3.6.4-bin/bin/zkServer.sh status

# 所有节点执行完成后,如果有节点 status状态异常,可以在该节点先关闭zk,再重新启动
systemctl stop zookeeper
systemctl start zookeeper


# 6.部署pulsar
# 6.1 下载pulsar
wget https://archive.apache.org/dist/pulsar/pulsar-2.10.6/apache-pulsar-2.10.6-bin.tar.gz
解压: tar -zxvf apache-pulsar-2.10.6-bin.tar.gz

# 6.2 broker 配置
# 6.2.1 broker资源限制,按照集群资源分配,修改pulsar_env.sh:
PULSAR_MEM=${PULSAR_MEM:-"-Xms1536m -Xmx1536m -XX:MaxDirectMemorySize=2560m"}

# 6.2.2 broker.conf 配置,这里以其中一个节点为例: 示例节点IP-1192.168.0.107
# 本机IP或host_name
advertisedAddress=192.168.0.107

# 防止端口冲突,client.conf/webServiceUrl 端口同步修改为8085
webServicePort=8085

# 集群名称,与zk里初始化元数据时指定的集群名--cluster pulsar-cluster一致
clusterName=default-pulsar-cluster

# 指定的都是zk集群地址和端口号,2.10版本以前使用参数 zookeeperServers,configurationStoreServers
metadataStoreUrl=192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181
configurationMetadataStoreUrl=192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181

# 开启所有监控 metrics
Enable topic level metrics 所有参数

# 开启自动创建topic的功能
allowAutoTopicCreation=true
allowAutoTopicCreationType=partitioned
defaultNumPartitions=6

# 是否开启安全角色认证,这里暂时不开启
authorizationEnabled=false
# 如果开启,设置如下(roles设置为实际的角色,这里不做举例):
# authorizationEnabled=true
# superUserRoles=my-super-user-1,my-super-user-2

# 关闭自动删除topic
brokerDeleteInactiveTopicsEnabled=false

自动回收topic条件:
当前 topic 没有生产者(producer)或者消费者(consumer)连接
当前 topic 没有被订阅
当前 topic 没有需要保留的信息

# 支持ack batch中部分消息
acknowledgmentAtBatchIndexLevelEnabled=true

# Bundle的数量应为broker数量的整数倍,默认为4,这里可以不做更改,创建namespace时可以指定
defaultNumberOfNamespaceBundles=16

# bundle rebalance 负载均衡策略,2.10版本后默认为ThresholdShedder,之前为OverloadShedder
loadBalancerLoadSheddingStrategy=org.apache.pulsar.broker.loadbalance.impl.ThresholdShedder

# broker direct memory挤压数据量限制,默认为 direct memory的一半,这里暂时不做修改
maxMessagePublishBufferSizeInMB=

# batch模式时,消息数计算根据entry实际包含数量计算,batch时entry可能包含多条消息,导致消费端消息数过多
preciseDispatcherFlowControl=true

# ⼀次从bookkeeper读取的数量,默认为100条
dispatcherMaxReadBatchSize=500

# 关闭auto bundle split功能,提⾼客户端稳定性
loadBalancerAutoBundleSplitEnabled=false
loadBalancerAutoUnloadSplitBundlesEnabled=false

# 创建Ledger时指定Ensemble的⼤⼩(创建一个ledger时使用的bookie数量)
managedLedgerDefaultEnsembleSize=3

# 创建Ledger时指定Quorum的⼤⼩(每个消息的副本数量)
managedLedgerDefaultWriteQuorum=3

# 创建Ledger时指定ack Quorum的⼤⼩(完成写操作前等待副本ack的数量)
managedLedgerDefaultAckQuorum=3

# 消息策略配置
默认情况下,Pulsar Broker 会对消息做如下处理:
• 当消息被 consumer 确认之后,会立即执行删除操作.
• 对于未被确认的消息会存储到 backlog 中.

a. Retention 策略配置: 用户可以将 consumer 已经确认的消息保留下来,相关配置如下:
消费确认过的消息超过该⼤⼩后会触发删除策略(1T)
defaultRetentionSizeInMB=1048576

消费确认过的消息超过指定时间后触发删除策略(30天)
defaultRetentionTimeInMinutes=43200

b. TTL 策略配置: 对于未确认的消息,用户可以通过设置 TTL 来使未确认的消息到达已经确认的状态
未被消费确认的消息⼤存储⼤⼩默认为-1表示没有限制,可以通过set-message-ttl设置过期时间,防⽌磁盘爆满(未确认消息默认永久存储),保持默认需要通过set-message-ttl设置过期时间,防止磁盘爆满
backlogQuotaDefaultLimitGB=-1

未被消费确认的消息超过存储⼤⼩的策略(保持默认,删除backlog中之前积压的消息)
backlogQuotaDefaultRetentionPolicy=producer_request_hold

# 启用 Pulsar Function
functionsWorkerEnabled=true

修改conf/functions_worker.yml的配置项pulsarFunctionsCluster 为集群的名称
pulsarFunctionsCluster: default-pulsar-cluster

# 设置网卡最大速度,这里因为获取网卡信息失败,需要手动设置,可不设置,如果自动读取设备数据失败后再手动设置
loadBalancerOverrideBrokerNicSpeedGbps=20


# 6.3 bookie配置
# 6.3.1 bookie资源限制,按照集群资源分配,修改bkenv.sh:
BOOKIE_MEM=${BOOKIE_MEM:-${PULSAR_MEM:-"-Xms1280m -Xmx1280m -XX:MaxDirectMemorySize=2816m"}}

# 6.3.2 bookkeeper.conf 配置,这里以其中一个节点为例: 示例节点IP-192.168.0.107
# 本机IP或host_name
advertisedAddress=192.168.0.107

# zookeeper集群地址
zkServers=192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181

# bookKeeper存储其预写⽇志的⽬录,可以设置多个目录,用逗号分割
journalDirectory=/data/bookkeeper/journal

# 指定存储BookKeeper输出ledger的⽬录,多个ledger⽬录,需要使⽤逗号分割(减少Ledger在切换期间时延)
ledgerDirectories=/data/bookkeeper/ledgers

# 限速策略entry限速和按照bytes限速,默认按照entry来限速,这里修改为按照bytes,因为每个entry大小不一样
isThrottleByBytes=true

# 刷新 ledger 索引页到磁盘的间隔,刷新索引文件会引入大量随机磁盘 I/O,如果在不同的设备上将日志目录和 ledger 目录分开，刷写就不会影响性能。
# 如果在同一设备上放置日志目录和 ledger 目录,性能会在频繁刷写的情况下大幅下降。增加刷写间隔来获得更好的性能,但 bookie 服务器失败重启后花更多时间
flushInterval=60000

# HDD用作journal磁盘时禁用,在 entry 成功写入 OS page cache 后,bookie 客户端可以得到响应
journalSyncData=false

# 注意:
1.提高读写吞吐量,可以将journal和ledger存储在不同磁盘上.
2.bookie使用单线程处理journal目录中数据的写入,为避免写入线程因为某些原因阻塞,可以指定多个journal目录,
但是不能太多,分配过多目录会导致随机写磁盘次数增加.
3.HDD 磁盘使用 CFQ(Completely Fair Queuing,完全公平队列调度算法)调度算法,SSD 磁盘使用 NOOP 调度算法.


# 6.4 部署pulsar
# 6.4.1 在其中一个节点初始化pulsar zk,所有节点只执行一次,执行后会在 journalDirectory/ledgerDirectories 生成 current 目录,不要手动删除,除非集群重置
```
sh apache-pulsar-2.10.6-bin/bin/pulsar initialize-cluster-metadata \
--cluster default-pulsar-cluster \
--metadata-store 192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181 \
--configuration-metadata-store 192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181 \
--web-service-url http://192.168.0.107:8085,192.168.0.108:8085,192.168.0.109:8085 \
--web-service-url-tls https://192.168.0.107:8443,192.168.0.108:8443,192.168.0.109:8443 \
--broker-service-url pulsar://192.168.0.107:6650,192.168.0.108:6650,192.168.0.109:6650 \
--broker-service-url-tls pulsar+ssl://192.168.0.107:6651,192.168.0.108:6651,192.168.0.109:6651
```

执行完成后返回: Cluster metadata for 'default-pulsar-cluster' setup correctly 代表初始化成功

# 查看初始化结果,zookeeper版本3.6.4,版本与pulsar不一致可能导致异常
sh apache-pulsar-2.10.6-bin/bin/pulsar zookeeper-shell
ls /
[admin, bookies, ledgers, pulsar, stream, zookeeper]

注: metadata-store,configuration-metadata-store是zk节点IP
web-service-url,web-service-url-tls,broker-service-url,broker-service-url-tls是pulsar节点IP
如果zk和pulsar部署在不同节点,修改相应的IP

# 6.4.2 部署bookie,需要在每个bookie节点执行一次
# systemctl启动配置
cat << END > /etc/systemd/system/bookkeeper.service
[Unit]
Description=bookkeeper.service
After=network.target
ConditionPathExists=/data/apache-pulsar-2.10.6/conf/bookkeeper.conf
[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
User=pulsar
Group=pulsar
ExecStart=/data/apache-pulsar-2.10.6/bin/pulsar bookie
Restart=always
[Install]
WantedBy=multi-user.target
END

三个节点执行:
# 重载
systemctl daemon-reload
# 加入开机启动
systemctl enable bookkeeper.service
# 启动
systemctl start bookkeeper.service

# 验证bookie是否启动成功，出现Bookie sanity test succeeded则代表启动成功。
sh apache-pulsar-2.10.6/bin/bookkeeper shell bookiesanity

# 6.4.3 部署broker,需要在每个broker节点执行一次
# systemctl启动配置
cat << END > /etc/systemd/system/pulsar.broker.service
[Unit]
Description=pulsar.broker.service
After=network.target
ConditionPathExists=/data/apache-pulsar-2.10.6/conf/broker.conf
[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
User=pulsar
Group=pulsar
ExecStart=/data/apache-pulsar-2.10.6/bin/pulsar broker
Restart=always
[Install]
WantedBy=multi-user.target
END

三个节点执行:
# 重载
systemctl daemon-reload
# 加入开机启动
systemctl enable pulsar.broker.service
# 启动
systemctl start pulsar.broker.service

# 验证是否成功
sh apache-pulsar-2.10.6-bin/bin/pulsar-admin brokers list default-pulsar-cluster

详情可参考官方安装流程:
https://pulsar.staged.apache.org/docs/en/deploy-bare-metal/