docker篇-(docker-compose安装zookeeper集群，并使用nginx实现负载均衡)

最新推荐文章于 2023-12-17 16:45:45 发布
最新推荐文章于 2023-12-17 16:45:45 发布
阅读量598 收藏 3
点赞数 3
分类专栏： docker 文章标签： zookeeper docker nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42413011/article/details/115440479
版权

zookeeper集群安装

查找镜像

docker search zookeeper

拉取镜像

这里我去zookeeper官网查看，稳定版本为3.6.2版本，因此这里拉取3.6.2版本的镜像

docker pull zookeeper:3.6.2

编写docker-compose.yml文件

version: '3'
services:
  zkui:
    image: maauso/zkui
    container_name: zkui
    labels:
    - "traefik.enable=true"
    - "traefik.http.routers.zkui.rule=Host(`www.zookeeper.com.cn`)"
    - "traefik.http.services.zkui.loadbalancer.server.scheme=http"
    - "traefik.http.services.zkui.loadbalancer.server.port=9090"
    - "traefik.http.routers.zkui.entrypoints=web"
    environment:
      ZKLIST: "10.100.10.21:2181,10.100.20.21:2181,10.100.30.21:2181"
    networks:
    - zookeeper
    #ports: #如果不使用traefik，则关闭这里的注释，通过ip访问即可
    #- 9090:9090
    depends_on:
    - zk1
    - zk2
    - zk3
  zk1:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk1
    hostname: zk1
    volumes:
      - ./zookeeper/zk1/data:/data
      - ./zookeeper/zk1/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      JVMFLAGS: "-Xmx256m -Xms256m -Duser.timezone=Asia/Shanghai"
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.10.21
  zk2:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk2
    hostname: zk2
    volumes:
      - ./zookeeper/zk2/data:/data
      - ./zookeeper/zk2/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      JVMFLAGS: "-Xmx256m -Xms256m -Duser.timezone=Asia/Shanghai"
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.20.21
  zk3:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk3
    hostname: zk3
    volumes:
      - ./zookeeper/zk3/data:/data
      - ./zookeeper/zk3/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      JVMFLAGS: "-Xmx256m -Xms256m -Duser.timezone=Asia/Shanghai"
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.30.21 #固定ip
networks:
  zookeeper:
    #driver: bridge
    #ipam:
      #driver: default
      #config:
      #- subnet: 10.100.0.0/16 如果不使用traefik，则关掉这里的注释，将traefik相关的东西注释即可
    external:
      name: traefik_traefik #使用traefik那张网卡

这里使用了traefik作为网关
博客地址: docker篇-(docker-compose安装web网关traefik)

执行docker-compose.yml

docker-compose up -d

配置域名映射

在这里插入图片描述

浏览器访问 www.zookeeper.com.cn

进入需要登录，用户名 admin 密码 manager
在这里插入图片描述
就可以实现查看zookeeper集群里面的数据并且操作了
在这里插入图片描述

配置负载均衡

因为zookeeper集群节点过多，不可能每次部署项目的时候都去填写这些节点，同时，如果这些节点宕机了，重启之后如果ip产生了变化怎么办，不利于维护，所以这里使用负载均衡的方式，在zookeeper和业务中间加上一个代理，让业务只需要关心这个代理的ip，而不需要去管zk集群

1.修改docker-compose.yml文件
添加nginx作为负载均衡的服务器

version: '3'
services:
  zkui:
    image: maauso/zkui
    container_name: zkui
    labels:
    - "traefik.enable=true"
    - "traefik.http.routers.zkui.rule=Host(`www.zookeeper.com.cn`)"
    - "traefik.http.services.zkui.loadbalancer.server.scheme=http"
    - "traefik.http.services.zkui.loadbalancer.server.port=9090"
    - "traefik.http.routers.zkui.entrypoints=web"
    #- "traefik.http.routers.zkui.tls=true"
    #- "traefik.http.routers.zkui.middlewares=ssl@docker"
    environment:
      ZKLIST: "10.100.100.100:2181"
    networks:
    - zookeeper
    #ports: #如果不使用traefik，则关闭这里的注释，通过ip访问即可
    #- 9090:9090
    depends_on:
    - lb-nginx
  lb-nginx:
    image: nginx:alpine
    container_name: lb-nginx
    ports:
    - 2181:2181
    volumes:
    - ./nginx.conf:/etc/nginx/nginx.conf #挂载修改过后的主配置文件
    - ./conf.d/stream:/opt/nginx/stream/conf.d #挂载负载均衡的stream配置文件
    - ./conf.d/http:/etc/nginx/conf.d #挂载默认的http配置文件，可有可无，这里实际上不会用到
    networks:
     zookeeper:
       ipv4_address: "10.100.100.100"
    depends_on:
    - zk1
    - zk2
    - zk3
  zk1:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk1
    hostname: zk1
    volumes:
      - ./zookeeper/zk1/data:/data
      - ./zookeeper/zk1/datalog:/datalog
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.10.21
  zk2:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk2
    hostname: zk2
    volumes:
      - ./zookeeper/zk2/data:/data
      - ./zookeeper/zk2/datalog:/datalog
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.20.21
  zk3:
    image: zookeeper:3.6.2
    restart: always
    container_name: zk3
    hostname: zk3
    volumes:
      - ./zookeeper/zk3/data:/data
      - ./zookeeper/zk3/datalog:/datalog
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=10.100.10.21:2888:3888;2181 server.2=10.100.20.21:2888:3888;2181 server.3=10.100.30.21:2888:3888;2181
    networks:
      zookeeper:
        ipv4_address: 10.100.30.21
networks:
  zookeeper:
    #driver: bridge
    #ipam:
      #driver: default
      #config:
      #- subnet: 10.100.0.0/16 如果不使用traefik，则关掉这里的注释，将traefik相关的东西注释即可
    external:
      name: traefik_traefik

2.因为nginx要支持tcp代理，需要配置stream模块，所以我们对nginx.conf配置文件进行修改

user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}

# 添加stream模块，实现tcp反向代理
stream {
    include /opt/nginx/stream/conf.d/*.conf; #加载 /opt/nginx/stream/conf.d目录下面的所有配置文件
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

3.编写zk负载均衡的配置文件zk-lb.conf

proxy_timeout 30m;
upstream zk {
  server 10.100.10.21:2181 weight=1;
  server 10.100.20.21:2181 weight=1;
  server 10.100.30.21:2181 weight=1;
}
server {
  listen  0.0.0.0:2181;
  proxy_pass zk;
}

4.目录结构如下图
在这里插入图片描述
5.执行docker-compose.yml

docker-compose up -d

6.通过浏览器访问
可以看到，这是nginx负载均衡的ip节点
在这里插入图片描述
7.通过代码测试
测试数据已经查找到了
在这里插入图片描述
8.通过浏览器查看数据已经写入成功了
在这里插入图片描述
9.进入zk集群的所有节点数据，可以看到数据以及同步到所有节点了

节点1
在这里插入图片描述
在这里插入图片描述

节点2
在这里插入图片描述
在这里插入图片描述

节点3
在这里插入图片描述
在这里插入图片描述

小小白鸽
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-compose -- kafka测试
janckgger的博客
05-18 287
这里采用单zk,单kafka docker-compose.yml version: '3.7' services: zoo1: image: zookeeper hostname: zoo1 restart: always ports: - "2181:2181" environment: ZOO_MY_ID: 1 ZOO_PORT: 2181 ZOO_SERVERS: server.1=zoo1:2
docker-compose volumes配置解析_Docker Compose+nginx 实现负载均衡
weixin_36214783的博客
01-19 872
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。前言本篇文章引导你使用 DockerCompose在 Docker容器中运行 nginx和两个简单的 SpringBoot应用程序，从而实现负载均衡。准备Docker CE技术栈Doc...
消费者用nginx做负载均衡，提供者用zookeeper自带功能实现负载均衡
weixin_30487701的博客
12-10 183
公司的项目基于阿里的Dubbo微服务框架开发。为了符合相关监管部门的安全要求，公司购买了华东1、华东2两套异地服务器，一套是业务服务器，一套是灾备服务器。准备在这两套服务器上实现Dubbo的分布式服务，如下图： 这里只罗列了部分服务器作为参考说明。其中 api 是消费者服务，driver 和 order 是 提供者服务。华东1 和 华东 2 分别是两个局域网，局域网内可用内网通信...
docker-compose搭建zookeeper集群
CarveStone的博客
02-10 861
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。注意：如果使用volumes绑定了/conf，则environment里zookeeper的配置会失效。如果没有提供zoo.cfg文件，则使用ZooKeeper推荐的默认值。这个参数可以设高一些，否则可能会出现超时，例如20000ms。
【Docker学习】—— docker-compose部署之zookeeper
weixin_43387699的博客
07-19 691
基于若依框架，慢慢学习，总结笔记该篇文章，博主使用了两台服务器。由于zookeeper需要三个服务才能做选举。所以我在服务器A上搭了一个zookeeper，服务器B上搭了两个zookeeper。
linux 中使用docker-compose 启动zkui可视化客户端
mrqi122的博客
10-21 281
地址： https://gitcode.com/mirrors/DeemOpen/zkui.git带有依赖的jar包 和config.cfg 文件上传到同一个目录文件下 ，新建docker-compose.yml文件和DockerFile文件 如下图 DockerFile文件 启动 执行 docker-compose up -d 命令
docker-compose部署zk+kafka+storm集群
最新发布
2301_79976546的博客
12-17 59
比如storm配置：- "./storm.yaml:/conf/storm.yaml" 但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。"/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。
Docker搭建Nacos集群(多台服务器)并使用nginx负载均衡
m0_65319859的博客
03-27 1007
usr/local/docker/nacos/config/application.properties这个目录下面的所有文件夹,没有哪个创建哪个,/usr/local/docker/nacos/conf/cluster.conf 这个目录下面的所有文件夹,没有哪个创建哪个,该教程主要是搭建多台服务器做nacos集群,因为自己搭建的时候找了很久其他教程都是搭建伪集群。NACOS_SERVERS:这个参数就是配置集群的时候需要加上的。这个ip是每个nacos都会有的,是系统分配的一个默认ip。
Docker安装mysql、redis、zookeeper、xxl-job、nacos、rocketmq等
09-08
内容包括docker常用命令、docker部署sqlserver、mongodb、redis（集群）、mysql、nginx、zookeeper集群、xxl-job、nacos（集群）、rocketmq、sentinel、jenkins等服务；docker开启远程调用、导出日志等
docker-compose-linux
11-02
docker-compose-linux，包含以下 activemq,baidupcs-web,canal,confluence,couchbase,efk,elasticsearch,elk,elkf,fastdfs,filebeat,flowable,gitlab,gogs,grafana,grafana-promtail-loki-nginx-demo,grafana_...
Docker搭建Zookeeper&Kafka集群的实现
01-11
最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机？因为使用的笔记本，所以每次连接网络IP都会改变，还要总是修改配置文件的，过于繁琐，不方便测试。（通过Docker虚拟网络的方式可以避免此问题，当时实验的时候没有了解到） Docker 安装 如果已经安装Docker请忽略此步骤 Docker支持以下的CentOS版本： CentOS 7 (64-bit)：要求系统为64位、系统内核版本为 3.10 以上。 CentOS 6.5（6
nginx-zookeeper:为 Nginx 服务器添加 Zookeeper 支持
06-08
Nginx Zookeeper 模块 为 Nginx 服务器添加 zookeeper 支持。 要求 Zookeeper C 客户端 安装 export LIBZOOKEEPER_PREFIX=/path/to/libzookeeper $ ./configure --add-module=/path/to/nginx-zookeeper $ make # make install 配置 zookeeper_host 主机：端口值的 CSV 列表。 zookeeper_path Nginx 服务器启动时模块将创建哪个路径。 例子 zookeeper_host "192.168.0.2:2181,192.168.0.3:2181" zookeeper_path "/nginx/foo"
docker快速构建disconf镜像
03-28
dd676e1ecbee zookeeper:3.3.6 "/docker-entrypoin..." About an hour ago Up About an hour 0.0.0.0:2181->2181/tcp, 0.0.0.0:2888->2888/tcp, 0.0.0.0:3888->3888/tcp dockerdisconfmaster_disconf_zookeeper_1 ...
nginx-logging
03-06
Nginx日志记录 基于Docker的堆栈，用于访问日志处理。 堆 Nginx（反向代理） Logstash（日志处理器） 卡夫卡（消息经纪人） Zookeeper（分布式协调员） ClickHouse（OLAP...docker-compose logs -f nginx 在L
Distributes-service
03-22
Python库如gunicorn和uWSGI可以作为Web服务器，配合Nginx实现反向代理和负载均衡。 4. **消息队列**：消息队列（如RabbitMQ、Kafka或Redis）在服务间传递异步消息，提高系统的响应速度和可扩展性。Python有Pika、...
kafka 3.1.1 cluster 三个结点 docker-compose 部署
云在青天水在瓶
06-15 1315
bitnami kafka 3.1.1 三个结点docker 集群；docker compose；使用 internal external listener 兼听器
docker-compose多主机部署zookeeper集群、kafka集群
云深海阔专栏
05-13 1741
1、创建docker-compose文件 version: '3.4' services: zookeeper: image: harbor-test.aitdcoin.com/sgpexchange/zookeeper:v3.4.13 restart: always hostname: zookeeper3 container_name: zookeeper ports: - 2181:2181 - 2888:2888 - 3888
linux 使用 nginx 搭建 zookeeper 集群
悟世君子的博客
05-10 2222
搭建 zookeeper 集群，笔者这里使用3台 centos7 服务器，它们 ip 分别是 192.168.0.125；192.168.0.123；192.168.0.117，后面简称 125，123，117 然后为3台服务器配置 java 环境，笔者这里的3台服务器已经成功安装 java 环境，没有安装 java 环境的朋友可以参考：https://blog.csdn.net/wsjzzcbq/article/details/82818826 目录 1、官网下载 zookeeper 2、
基于软件的负载均衡（Nginx与ZooKeeper解析）
热门推荐
张宇的博客
04-01 1万+
什么是负载均衡负载均衡（Load Balance）是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】。常见互联网分布式架构如上，分为客户端层、反向代理nginx层、站点层、服务层、数据层。现在使用最多的基于软件的负载均衡是Nginx和ZooKeeper： Nginx是著名的反向代理服务器，也被广泛的作为负载均衡服务器 Z
"Docker-Compose实现Docker容器集群快速编排及负载均衡
虽然Docker-Compose没有解决负载均衡的问题，但可以借助其他工具实现服务发现和负载均衡。其工程配置文件默认为docker-compose.yml，可以通过环境变量COMPOSE_FILE或-f参数自定义配置文件。使用一个Dockerfile模板...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值