presto 使用 部署_pulsar1：docker部署pulsar多节点集群

目录：

(1).docker部署bpulsar-zookeeper节点

(2).initial pulsar集群

(3).docker部署bookie节点

(4).docker部署broker节点并附带启用pulsar-connectors

(5).docker部署pulsar-manager

5.1.部署pulsar-manager

5.2.增加超级管理员用户

5.3.增加普通用户

5.4.使用pulsar-manager创建测试用环境

(6).使用pulsar-data-generator-connector生成测试数据测试集群

(7).pulsar-connector初探

(8).docker部署查询引擎pulsar-presto

(9).使用pulsar-presto

(10).docker部署sqlpad与简单使用

(11).其他

(12).历史相关文章

(13).参考文章

集群部署顺序：

zookeeper>bookkeeper>broker

docker pull apachepulsar/pulsar-all:2.7.0

本文意图：

通过深入剖析安装过程中遇到的各种问题，来进一步理解pulsar集群的原理与运行机制。使用docker一方面可以节省大量工作量，另一方面可以为后续的kubernetes化做准备。也为了能更好的使用/使用对pulsar。

(1).docker部署pulsar-zookeeper节点

mkdir -p /root/docker-local/docker-local-pulsar-zookeeper/conf

mkdir -p /root/docker-local/docker-local-pulsar-zookeeper/data/zookeeper

需要下载相关配置文件：放到上边新建的对应目录中

cp https://github.com/apache/pulsar/blob/v2.7.0/conf/zookeeper.conf /root/docker-local/docker-local-pulsar-zookeeper/conf

docker run -it -d -p 2181:2181 -p 9990:9990 -p 18000:8000 -v /root/docker-local/docker-local-pulsar-zookeeper/conf/zookeeper.conf:/pulsar/conf/zookeeper.conf -v /root/docker-local/docker-local-pulsar-zookeeper/data/zookeeper:/pulsar/data/zookeeper --name zookeeper apachepulsar/pulsar-all:2.7.0 /pulsar/bin/pulsar zookeeper

8000端口：http metrics

07:31:17.870 [main] INFO  org.apache.pulsar.zookeeper.ZooKeeperStarter - Starting ZK stats HTTP server at port 8000

zookeeper的metrics在zk启动命令中开启4字命令：

2181端口：

07:31:18.137 [main] INFO  org.apache.zookeeper.server.quorum.QuorumPeerConfig - clientPortAddress is 0.0.0.0:2181

9990端口：

07:31:18.340 [main] INFO  org.eclipse.jetty.server.AbstractConnector - Started ServerConnector@2c95ac9e{HTTP/1.1, (http/1.1)}{0.0.0.0:9990}

(2).initial pulsar集群

docker run -it --link zookeeper apachepulsar/pulsar-all:2.7.0 /pulsar/bin/pulsar initialize-cluster-metadata --cluster pulsarClusterInDocker --zookeeper zookeeper:2181 --configuration-store zookeeper:2181 --web-service-url http://broker:8080 --broker-service-url pulsar://broker:6650

--cluster pulsarClusterInDocker

指定要初始化的pulsar集群名称，后边启动broker时要在broker的配置文件中写这个名称。

--zookeeper zookeeper:2181

指定broker的注册中心

--configuration-store zookeeper:2181

指定store(bookie)层的注册中心

--web-service-url http://broker:8080

指定broker的通信端口，后边启动broker的端口要和这里保持一致

(3).docker部署bookie节点

mkdir -p /root/docker-local/docker-local-pulsar-bookkeeper/conf

mkdir -p /root/docker-local/docker-local-pulsar-bookkeeper/data

需要下载相关配置文件：放到上边新建的对应目录中

cp https://github.com/apache/pulsar/blob/v2.7.0/conf/bookkeeper.conf /root/docker-local/docker-local-pulsar-bookkeeper/conf

修改zookeeper地址：

zkServers=zookeeper:2181

docker run -it -d -p 3181:3181 -p 8000:8000 -v /root/docker-local/docker-local-pulsar-bookkeeper/conf/bookkeeper.conf:/pulsar/conf/bookkeeper.conf -v /root/docker-local/docker-local-pulsar-bookkeeper/data:/pulsar/data --name bookkeeper --link zookeeper apachepulsar/pulsar-all:2.7.0 /pulsar/bin/pulsar bookie

端口3181：

"bookiePort" : "3181"

端口8000：

"httpServerPort" : "8000"

"prometheusStatsHttpPort" : "8000"

(4).docker部署broker节点并附带启用pulsar-connectors

mkdir -p /root/docker-local/docker-local-pulsar-broker/conf

mkdir -p /root/docker-local/docker-local-pulsar-broker/conf/offloaders

需要下载相关配置文件：放到上边新建的对应目录中

cp https://github.com/apache/pulsar/blob/v2.7.0/conf/broker.conf /root/docker-local/docker-local-pulsar-broker/conf

cp https://github.com/apache/pulsar/blob/v2.7.0/conf/functions_worker.yml /root/docker-local/docker-local-pulsar-broker/conf

A1.修改broker.conf

修改zk配置：

# Zookeeper qu