Linux服务器搭建Pulsar集群

最新推荐文章于 2024-04-18 08:59:52 发布
最新推荐文章于 2024-04-18 08:59:52 发布
阅读量3k 收藏 3
点赞数
分类专栏： pulsar 文章标签： linux 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38908577/article/details/122638811
版权

目录

1. 准备环境

2. 部署JDK环境（要求版本不低于JDK8）

3. 下载Pulsar最新安装包

4. Zookeeper集群部署

4.1 搭建pulsar集群至少需要三个组件

4.2 创建文件夹

4.3 pulsar安装包

4.4 部署zookeeper集群

 4.4.1 三台服务器创建目录

 4.4.2 修改zookeeper配置文件

 4.4.3 启动zookeeper

 4.4.4 初始化zookeeper

 4.4.5 执行zookeeper客户端连接命令

 4.4.6 重新初始化或者删除数据时

5. 部署配置bookkeeper集群

5.1 分别在各节点执行

5.2 修改配置文件

5.3 先初始化，再启动 

6. 部署配置Broker集群

6.1 修改配置文件

6.2 启动各个节点

 7. 测试

8. docker部署pulsar-manager搭建

1. 准备环境

3台Linux裸机服务器（CentOS7为例）

ip分别为：

ip地址192.168.1.96
ip地址192.168.1.97
ip地址192.168.1.98

2. 部署JDK环境（要求版本不低于JDK8）

安装JDK参考：

Linux部署jdk1.8_率小气的博客-CSDN博客

3. 下载Pulsar最新安装包

下载地址：

Apache Pulsar

4. Zookeeper集群部署

4.1 搭建pulsar集群至少需要三个组件

pulsar安装包包含以下组件，无需单独下载组件安装包

  • zookeeper集群
  • bookkeeper集群
  • broker集群

4.2 创建文件夹

在工作目录下创建三个文件夹

mkdir -p /home/pulsar/zookeeper

mkdir -p /home/pulsar/bookies

mkdir -p /home/pulsar/broker

4.3 pulsar安装包

把下载的pulsar安装包上传至linux服务器，并解压安装，这里我下载的2.9.1版本

tar xf apache-pulsar-2.9.1-bin.tar.gz

把解压后的文件分别复制至所创建的3个文件夹

cp -ir /opt/apache-pulsar-2.9.1/* /home/pulsar/zookeeper/
cp -ir /opt/apache-pulsar-2.9.1/* /home/pulsar/broker/
cp -ir /opt/apache-pulsar-2.9.1/* /home/pulsar/bookie/

 4.4 部署zookeeper集群

 4.4.1 三台服务器创建目录

  mkdir -p /home/pulsar/data/zookeeper

  执行：

echo 1 > /home/pulsar/data/zookeeper/myid

echo 2 > /home/pulsar/data/zookeeper/myid

echo 3 > /home/pulsar/data/zookeeper/myid

 4.4.2 修改zookeeper配置文件

vim  /home/pulsar/zookeeper/conf/zookeeper.conf

dataDir= /home/pulsar/data/zookeeper/
server.1=192.168.1.96:2888:3888
server.2=192.168.1.97:2888:3888
server.3=192.168.1.98:2888:3888

 4.4.3 启动zookeeper

分别启动三台Linux服务器zookeeper

cd /home/pulsar/zookeeper/

#执行启动命令
/bin/pulsar-daemon start zookeeper

#停止命令
/bin/pulsar-daemon stop zookeeper

#查看进程
ps aux|grep zookeeper

#查看端口情况
ss -ntlp
netstat -tpnl|grep 2181

  4.4.4 初始化zookeeper

#初始化
pulsar initialize-cluster-metadata \
--cluster pulsar-cluster \
--zookeeper 192.168.1.96:2181 \
--configuration-store 192.168.1.96:2181 \
--web-service-url http://192.168.1.96:8080,http://192.168.1.97:8080,http://192.168.1.98:8080 \
--web-service-url-tls https://192.168.1.96:8443,192.168.1.97:8443,192.168.1.98:8443 \
--broker-service-url pulsar://192.168.1.96:6650,192.168.1.97:6650,192.168.1.98:6650 \
--broker-service-url-tls pulsar+ssl://192.168.1.96:6651,192.168.1.97:6651,192.168.1.98:6651

  4.4.5 执行zookeeper客户端连接命令

#执行zookeeper客户端命令，如果是默认端口情况下，执行如下命令连接
bin/pulsar zookeeper-shell

#指定ip和端口的情况下，执行如下命令连接
/bin/pulsar zookeeper-shell -server 192.168.1.96:2181
/bin/pulsar zookeeper-shell -server 192.168.1.97:2181
/bin/pulsar zookeeper-shell -server 192.168.1.98:2181

#查看所有zookeeper节点数据，命令如下
ls /

#显示，表示成功
[admin, bookies, ledgers, managed-ledgers, namespace, pulsar, stream, zookeeper]

 4.4.6 重新初始化或者删除数据时

   建议：先停掉zookeeper，然后直接删除单台zookeeper数据目录，然后再重新启动

   重新初始化，删除zookeeper的数据，日志也删除

5. 部署配置bookkeeper集群

5.1 分别在各节点执行

创建bookies所需目录

mkdir -p /home/pulsar/bookies/tmp/journal
mkdir -p /home/pulsar/bookies/tmp/ledgers

5.2 修改配置文件

vim /home/pulsar/bookies/conf/bookkeeper.conf

journalDirectory=/home/admin/bookies/tmp/journal

ledgerDirectories=/home/admin/bookies/tmp/ledgers

#advertisedAddress修改为服务器对应的ip
advertisedAddress=192.168.1.96

#修改端口号8000为8100,zookeeper占用了8000端口
prometheusStatsHttpPort=8100

#修改zookeeper地址和端口信息
zkServers=192.168.1.96:2181,192.168.1.97:2181,192.168.1.98:2181

5.3 先初始化，再启动 

#查看8000端口是否占用, 如果占用,修改为8100
netstat -tpnl |grep 8000   

#httpServerPort默认也是8000,建议修改,我这里修改为:8100
prometheusStatsHttpPort=8100

# 初始化元数据，并启动 bookie 集群
# 执行初始化元数据命令；若出现提示，输入 Y，继续（只需在任意一个bookie节点执行一次）
bin/bookkeeper shell metaformat

#bookie关闭命令
bin/pulsar-daemon stop bookie

#启动bookie命令,以后台进程启动bookie
bin/pulsar-daemon start bookie

#日志查看
tail f  /home/pulsar/bookies/logs/pulsar-bookie-localhost.localdomain.log

#验证是否启动成功
bin/bookkeeper shell bookiesanity

#出现如下显示，表示启动成功Bookie
Bookie sanity test succeeded

6. 部署配置Broker集群

6.1 修改配置文件

#修改配置文件
vim /home/pulsar/broker/conf/broker.conf

zookeeperServers=192.168.1.96:2181,192.168.1.97:2181,192.168.1.98:2181
configurationStoreServers=192.168.1.96:2181,192.168.1.97:2181,192.168.1.98:2181

#修改服务器对应的ip
advertisedAddress=192.168.1.96

#修改zookeeper集群名称，初始化时候所用的集群名称（--cluster pulsar-cluster）
clusterName=pulsar-cluster

#查看端口是否被占用，如果占用修改为其他端口
webServicePort=8080

6.2 启动各个节点

#启动命令
bin/pulsar-daemon start broker

#停止命令
bin/pulsar-daemon stop broker

# 查看集群 brokers 节点情况
bin/pulsar-admin brokers list pulsar-cluster
bin/pulsar-admin --admin-url http://192.168.1.97:8080 brokers list pulsar-cluster

#显示如下：表示集群搭建成功
192.168.1.96:8080
192.168.1.97:8080
192.168.1.98:8080

 7. 测试

#订阅
bin/pulsar-client consume \
  persistent://public/default/test \
  -n 100 \
  -s "consumer-test" \
  -t "Exclusive"

#发送
bin/pulsar-client produce \
  persistent://public/default/test \
  -n 1 \
  -m "Hello Pulsar"

----- 收到消息 -----
Hello Pulsar

8. docker部署pulsar-manager搭建

docker run -d  -p 9527:9527 -p 7750:7750 \
-e SPRING_CONFIGURATION_FILE=/pulsar-manager/pulsar-manager/application.properties \
--name pulsar-manager \
-e pulsar.peek.message=true \
apachepulsar/pulsar-manager:v0.2.0

CSRF_TOKEN=$(curl http://localhost:17750/pulsar-manager/csrf-token)

curl \
   -H 'X-XSRF-TOKEN: $CSRF_TOKEN' \
   -H 'Cookie: XSRF-TOKEN=$CSRF_TOKEN;' \
   -H "Content-Type: application/json" \
   -X PUT http://localhost:7750/pulsar-manager/users/superuser \
   -d '{"name": "admin", "password": "apachepulsar", "description": "test", "email": "***@qq.com"}'

登录访问：

我部署在192.168.1.96服务器上面

http://192.168.1.96:9527

用户名：admin

密码：apachepulsar

 

 以上基本部署完成！！！

率小气
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0201 - Apache Pulsa快速上手 - 在Linux下安装
MrRongCodeLife的博客
06-07 679
需要视频教程，详见https://edu.csdn.net/course/detail/24993/287978 1. JDK安装 1.1 下载 可以选择命令安装，这里推荐解压配置，这个方法与环境无关，推荐大家使用 由于jdk已经被oralce商用，所以这里我们使用openjdk，功能上与jdk差不多，在生产环境使用近两年，没有遇到什么问题，大家放心使用，官方地址http://ope...
聊聊 Pulsar： 在 Linux 环境上搭建 Pulsar
riemann_的博客
02-19 2619
一、环境准备 jdk下载地址链接：jdk 1.8，提取码: dv5h pulsar下载地址链接：pulsar2.9.1，提取码: 8489 1.1 Java 环境为前提 1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装 # 安装命令 rpm -ivh jdk-8u261-linux-x64.rpm 1.1.2 配置环境变量 # 编辑配置文件,jdk的bin目录到/etc/profile文件，对所有用户的shell有效 vim /etc/profile # 生效 source
Pulsar【部署 01】消息队列PULSAR在Linux环境的主程序安装使用（小内存服务器问题处理）
最新发布
Java与大数据相关实践内容分享！
04-18 982
消息队列PULSAR在Linux环境的主程序安装使用（小内存服务器问题处理）
在多台 Linux 服务器上搭建 Pulsar 集群
Apache Pulsar
05-28 446
作者：高天赐编辑：IrenePulsar 是一个支持多租户的、高性能的消息中间件。上一篇我们介绍了如何在 Mac 上搭建 Pulsar 集群，本文详细介绍如何在 3 台 Linux 服务...
9527集群linux生成器,Pulsar-Manager安装部署
weixin_28910825的博客
05-15 571
Apache Pulsar 是下一代分布式消息发布订阅系统，当前 Pulsar 的发展势头非常迅猛，但作为基础架构组件，Pulsar 周边生态仍有完善空间。此前，Pulsar 已有监控工具 Dashboard (http://pulsar.apache.org/docs/en/administration-dashboard/)，但它侧重于对 Pulsar 的简单监控(例如，搜集并展示 Tenan...
Pulsar[2]-多台Linux服务器搭建集群
不甩锅的码农
05-06 3679
Pulsar|多台 Linux 服务器搭建 Pulsar 集群（Pulsar 裸金属部署）。
Pulsar集群 监听mysql8的binlog java代码
04-04
当你需要将MySQL数据库的变更实时同步到Pulsar集群时，通常会采用像Debezium这样的工具。以下是关于这个主题的详细知识： 1. **Apache Pulsar**：Pulsar是Apache软件基金会的顶级项目，它是一个高吞吐、低延迟、可...
搭建pulsar架构流程.docx
07-31
本资源为实战搭建pulsar分布式队列，最低需求6台服务器，3台搭建zookeeper集群，另外3台分别作为pulsar注册中心、消费者、提供者。
pulsar2.8.1.zip
10-27
接下来，我们将深入探讨Pulsar的关键概念和如何利用docker-compose来搭建Pulsar集群。 1. **Apache Pulsar概述**： Apache Pulsar起源于Yahoo，后来成为Apache软件基金会的顶级项目。它的设计目标是提供一个统一的...
Apache Pulsar入门demo
09-01
确保本地已经启动了Pulsar集群（或者使用Docker快速搭建），然后编译并运行Java程序。你会看到消息被成功生产和消费，从而对Pulsar的工作机制有更深入的理解。 此外，Pulsar还支持多种高级特性，如延迟消息、死信...
Apache Pulsar介绍PPT
03-07
Apache Pulsar介绍PPT
Pulsar单集群搭建（centos7.x版本）
weixin_44166074的博客
12-14 1980
Pulsar单集群搭建（centos7.x版本） 线上集群的六台机器，组件分布为，三台机器安装zookeeper集群，另外三台分别安装bookeeper和broker集群。每台机器上都要安装了jdk1.8版本。 (初次安装失败就是由于zk某台节点没有安装jdk环境导致，建议环境变量全部放在/etc/profile.d/my_env.sh中) 具体架构和组件如下表： hadoop01 hadoop02 hadoop03 hadoop04 hadoop05 hadoop06 zookeeper
【pulsar学习】pulsar集群部署及可视化监控部署
weixin_41399650的博客
06-04 2697
最好的学习一个组件的方法就是先用起来，遇见问题再去查找资料。但是往往就卡在了装软件、配置组件这一步。本文主要记录自己在装分布式pulsar时遇到的问题，希望能对读者有所帮助。
Pulsar-学习-安装部署
CallousZD的博客
01-31 2451
pulsar 部署
大数据系列之：安装pulsar详细步骤
zhengzaifeidelushang的博客
02-11 2095
大数据系列之：安装pulsar详细步骤
Pulsar快速上手
11-25
本课程系统讲解Apache Pulsar，从原理到使用最后到开发整个学习过程教学内容：Pulsar原理，包括：背景、工作原理、订阅模式；Pulsar使用方式，包括：3种使用方式（图形界面/命令行/SDK）；Pulsar客户端开发：包括：独占Exclusive，灾备Failover，共享Shared，多主题Multiple-Topic教学目标：让学员可以快速掌握Pulsar，并能在生产环境使用
Pulsar详解2—架构和组件 & 安装和配置（示例：Go语言）
风不归的乐园
12-20 1352
Pulsar：架构和组件：分层架构、BookKeeper和ZooKeeper、Broker服务、Pulsar IO（连接器）；安装和配置：安装步骤、配置文件
Apache Pulsar部署及可视化监控部署
July_whj
05-16 3537
一、Apache Pulsar的Local模式构建 1.1、启动服务 Standalone Local单机本地模式, 是pulsar最简单的安装方式, 此种方式仅适用于测试学习使用, 并无法作为生产环境中使用。 下载Apache Pulsar2.10 ​ apache-pulsar-2.10.0-bin.tar.gz 服务器系统要求: Currently, Pulsar is available for 64-bit macOS, Linux, and Windows. To use Pulsar, you
CentOS7 搭建Pulsar 消息队列环境，CentOS（Linux）部署Pulsar，亲测成功，以及Python操作Pulsar实例驱动
sinat_28371057的博客
05-12 3165
在最佳开源数据库与数据分析平台奖中，之前曾连续两年入选的 Kafka 意外滑铁卢落选，取而代之的是新兴项目 Pulsar，Bossie Awards中对 Pulsar 点评如下：“Pulsar 旨在取代 Apache Kafka 多年的主宰地位。Pulsar在很多情况下提供了比 Kafka 更快的吞吐量和更低的延迟，并为开发人员提供了一组兼容的 API，让他们可以很轻松地从 Kafka ...
springboot集成pulsar集群
03-28
- Pulsar集群 - Java 8 - Spring Boot 2.x - Pulsar Java Client 2. 添加依赖 在`pom.xml`中添加以下依赖： ```xml <groupId>org.apache.pulsar <artifactId>pulsar-client ${pulsar.version} <groupId>...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值