进度记录【Day5】pxc集群/haproxy代理

最新推荐文章于 2023-10-19 17:03:39 发布
最新推荐文章于 2023-10-19 17:03:39 发布
阅读量550 收藏 1
点赞数
分类专栏： 学习笔记 文章标签： docker mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41103187/article/details/105357450
版权

目录

Day5

常见的mysql集群解决方案

1. Replication方案

  • 速度快
  • 弱一致性：存储数据时，主节点存储成功后直接回复成功，其他节点同步情况不影响回复结果（数据同步是异步的）
  • 适合存储低价值数据
  • 例如：系统日志、新闻、帖子

2. PXC方案

  • 速度慢
  • 强一致性：存储数据时，数据同步都完成后回复成功，有一个节点不成功都回复失败
  • 适合存储高价值数据
  • 例如：订单 账户 财务

两种集群方案是互补的关系。

PXC集群方案

  • 全称 percona-xtradb-cluster

1、拉取pxc镜像

  • 拉取镜像

docker pull percona/percona-xtradb-cluster

  • 做镜像副本

docker tag percona/percona-xtradb-cluster pxc

  • 删除原镜像

docker rmi percona/percona-xtradb-cluster

2、创建新的网络

  • 出于安全考虑，将pxc集群部署在另一个局域网
  • redis集群部署在172.17.0.1这个局域网内
  • 把pxc集群部署在172.18.0.1这个局域网内
  • 用docker新建一个局域网

docker network create --subnet=172.18.0.1/24 net_pxc
172.18.0.1是新建的网络虚拟网卡地址
/24是子网掩码 → 255.255.255.0

3、创建5个volume挂载卷

docker volume create pxc_v1
docker volume create pxc_v2
docker volume create pxc_v3
docker volume create pxc_v4
docker volume create pxc_v5

4、启动5个pxc容器

  • 启pxc1容器

docker run -d -p 3001:3306
-e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC
-e XTRABACKUP_PASSWORD=root -v pxc_v1:/var/lib/mysql
–privileged --name=pxc1 --net=net_pxc --ip 172.18.0.11 pxc

  • -p 3001:3306 端口映射【改】
  • -e MYSQL_ROOT_PASSWORD=root 指定mysql的密码
  • -e CLUSTER_NAME=PXC 指定集群的名字
  • -e XTRABACKUP_PASSWORD=root 指定集群中节点同步密码
  • -v pxc_v1:/var/lib/mysql 指定挂载卷【改】
  • –privileged 赋予权限
  • –name=pxc1指定容器名字【改】
  • –net=net_pxc 指定网络（如果不指定，默认是docker0网络，即172.17.0.1）
  • –ip 172.18.0.11 指定容器ip地址（如果不指定，会随机分配）【改】
  • pxc 镜像的名字

以pxc1为集群的第一个节点，其他节点都加入pxc1节点，所以在启其他pxc容器都要加一个参数（-e CLUSTER_JOIN=pxc1），pxc1容器启动后，不能立即创建pxc2，因为pxc1容器创建后，容器中的mysql服务还处于启动中，集群的状态也处于启动中，如果立即创建pxc2，可能会创建失败，需要用navicat工具验证pxc1是否完全启动成功。

navicat新建连接并测试

  • 启pxc2/pxc3/pxc4/pxc5容器

docker run -d -p 3002:3306 -e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=root -e CLUSTER_JOIN=pxc1 -v pxc_v2:/var/lib/mysql --privileged --name=pxc2 --net=net_pxc --ip 172.18.0.12 pxc

docker run -d -p 3003:3306 -e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=root -e CLUSTER_JOIN=pxc1 -v pxc_v3:/var/lib/mysql --privileged --name=pxc3 --net=net_pxc --ip 172.18.0.13 pxc

docker run -d -p 3004:3306 -e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=root -e CLUSTER_JOIN=pxc1 -v pxc_v4:/var/lib/mysql --privileged --name=pxc4 --net=net_pxc --ip 172.18.0.14 pxc

docker run -d -p 3005:3306 -e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=root -e CLUSTER_JOIN=pxc1 -v pxc_v5:/var/lib/mysql --privileged --name=pxc5 --net=net_pxc --ip 172.18.0.15 pxc

  • 同理，用navicat工具连接5个容器数据库，在pxc1中创建school数据库，在数据库中创建school表，增加数据后查看其它容器数据库是否同步。
    创建school表

任意一个节点的数据改变都会同步给其他的容器数据库

  • 被连接的节点工作量比较大，不仅需要存储数据还要将数据同步给其他节点
    解决方法：负载均衡，用haproxy，程序连接haproxy代理节点间接连接pxc mysql集群。

制作haproxy镜像

1、不使用官方的haproxy镜像的原因

  • 官方的haproxy镜像使用Ubuntu操作系统，不是centOS7，不方便使用

2、制作haproxy镜像的步骤

mkdir haproxy
wget https://www.haproxy.org/download/2.0/src/haproxy-2.0.5.tar.gz

  • 将Dockerfile和haproxy.cffg文件拷贝到安装包同级目录下
    dockerfile文件
  • 写Dockerfile文件【改-y和暴露端口8888】
FROM centos:7  #指定centos7为基础镜像
#将同级目录下的文件haproxy-2.0.5.tar.gz拷贝到该目录下
ADD haproxy-2.0.5.tar.gz /usr/local/etc/
## 安装编译工具，开始安装编译haproxy
RUN yum install -y gcc gcc-c++ glibc glibc-devel pcre \
                pcre-devel openssl openssl-devel systemd-devel \
                net-tools vim iotop bc zip unzip zlib-devel lrzsz \
                tree screen lsof tcpdump wget ntpdate –y \
      && cd /usr/local/etc/haproxy-2.0.5 \
      && make ARCH=x86_64 TARGET=linux-glibc \
              USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 \
              USE_SYSTEMD=1 USE_CPU_AFFINITY=1 \
              PREFIX=/usr/local/haproxy \
      && make install PREFIX=/usr/local/haproxy \
      && cp haproxy /usr/sbin/ \
      && mkdir /usr/local/haproxy/run
# 将Dockerfile同级目录下的haproxy.cfg配置文件拷贝到镜像的该目录下
ADD haproxy.cfg /etc/haproxy/
ADD haproxy.cfg /usr/local/etc/haproxy-2.0.5/
# 将 run_haproxy.sh 启动脚本文件拷贝到镜像的该目录下
ADD run_haproxy.sh /usr/bin
# 赋予 run_haproxy.sh 运行权限
RUN chmod +x /usr/bin/run_haproxy.sh
# 向外暴露 80 和 8888 端口
EXPOSE 80 8888
#执行 run_haproxy.sh 脚本
CMD ["/usr/bin/run_haproxy.sh"]
  • 写 haproxy.cfg 配置文件【改路径src和ip/端口11:3306/12:3306…】
global
	#工作目录
	chroot /usr/local/etc/haproxy-2.0.5
	#日志文件，使用rsyslog服务中local5日志设备（/var/log/local5），等级info
	log 127.0.0.1 local5 info
	#守护进程运行
	daemon

defaults
	log	global
	mode	http
	#日志格式
	option	httplog
	#日志中不记录负载均衡的心跳检测记录
	option	dontlognull
    #连接超时（毫秒）
	timeout connect 5000
    #客户端超时（毫秒）
	timeout client  50000
	#服务器超时（毫秒）
    timeout server  50000

#监控界面	
listen  admin_stats
	#监控界面的访问的IP和端口
	bind  0.0.0.0:8888
	#访问协议
    mode        http
	#URI相对地址
    stats uri   /dbs
	#统计报告格式
    stats realm     Global\ statistics
	#登陆帐户信息
    stats auth  admin:admin
#数据库负载均衡
listen  proxy-mysql
	#访问的IP和端口
	bind  0.0.0.0:3306  
    #网络协议
	mode  tcp
	#负载均衡算法（轮询算法）
	#轮询算法：roundrobin
	#权重算法：static-rr
	#最少连接算法：leastconn
	#请求源IP算法：source 
    balance  roundrobin
	#日志格式
    option  tcplog
	#在MySQL中创建一个没有权限的haproxy用户，密码为空。Haproxy使用这个账户对MySQL数据库心跳检测
    option  mysql-check user haproxy
    server  pxc_node1 172.18.0.11:3306 check weight 1 maxconn 2000  
    server  pxc_node2 172.18.0.12:3306 check weight 1 maxconn 2000  
	server  pxc_node3 172.18.0.13:3306 check weight 1 maxconn 2000 
	server  pxc_node4 172.18.0.14:3306 check weight 1 maxconn 2000
	server  pxc_node5 172.18.0.15:3306 check weight 1 maxconn 2000
	#使用keepalive检测死链
    option  tcpka
  • 写run_haproxy.sh 脚本
#!/bin/bash
haproxy -f /etc/haproxy/haproxy.cfg
tail -f /etc/hosts
  • 执行构建haproxy镜像命令

docker build -t mars/haproxy .
.表示执行该目录下的Dockerfile文件

  • 使用mars/haproxy镜像启动一个容器

docker run -d -p 80:80 -p 3000:8888 mars/haproxy
因为已经配置了haproxy.cfg，所以容器启动后会自动代理pxc集群

  • 访问haproxy的监控界面

192.168.87.101:3000/dbs

3、在 pxc集群中创建一个用户给 haproxy使用

CREATE USER 'haproxy'@'%' IDENTIFIED BY '';

这个用户创建好后，会自动同步给其他的pxc节点

  • 需要指定haproxy节点和pxc集群节点在同一个局域网中
    重新启动一个haproxy容器

docker run -d -p 80:80 -p 8888:8888 -p 3306:3306 --name haproxy --privileged --net=net_pxc --ip 172.18.0.10 mars/haproxy
haproxy镜像代理成功
此时镜像代理成功

  • 暂停pxc2和pxc4检查检测页面

docker pause pxc2
docker pause pxc4

  • 恢复pxc2和pxc4检查检测页面

docker unpause pxc2
docker unpause pxc4

4、集群的伸缩：在 pxc集群中再添加一个pxc6节点

  • 创建新的volume挂载卷

docker volume create pxc_v6

  • 启动新的pxc节点6

docker run -d -p 3006:3306 -e MYSQL_ROOT_PASSWORD=root -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=root -e CLUSTER_JOIN=pxc1 -v pxc_v6:/var/lib/mysql --privileged --name=pxc6 --net=net_pxc --ip 172.18.0.16 pxc

  • 此时发现监控页面中并没有代理到pxc6：原因是haproxy.cfg配置文件中只配置了pxc1-pxc5，需要修改haproxy.cfg配置文件
  • 加入 server pxc_node6 172.18.0.16:3306 check weight 1 maxconn 2000
  • 保存退出文件
  • 删除haproxy容器

docker rm -f haproxy容器ID

  • 重新启动一个haproxy容器，并挂载haproxy.cfg文件到容器中

docker run -d -p 80:80 -p 8888:8888 -p 3306:3306 -v /root/docker/haproxy/haproxy.cfg:/etc/haproxy/haproxy.cfg --name haproxy --privileged --net=net_pxc --ip 172.18.0.10 mars/haproxy

4、启一个tomcat部署EasyBuy项目访问haproxy节点

EasyBuy项目访问的mysql地址是haproxy代理地址
注册用户，查看是否能在每个pxc节点中添加数据

Rotark
关注
专栏目录
基于Docker搭建Mysql的PXC集群+haproxy+双机热备份实现高可用
IT_Bigboy_sz的博客
07-12 1134
之前我已经搭建过PXC集群可以参考我之前的文章https://mp.csdn.net/mdeditor/95048994# 1、拉取镜像 docker pull haproxy 2、配置haproxy的文件 1.sudo touch /usr/local/docker/haproxy/haproxy.cfg 2.sudo vi /usr/local/docker/haproxy/haprox...
Docker+PXC+Haproxy搭建高可用强一致性的MySQL集群
m0_62920707的博客
09-26 687
超详细！！！Docker+PXC+Haproxy搭建高可用强一致性的MySQL集群
mysql之PXC5.7.18集群系列——2.HAProxy
nloneday
09-11 660
1. 相关准备 官方网站：http://www.haproxy.org 2. 编译安装 # cd /home/soft/haproxy.1.7.8 # make TARGET=linux26 prefix=/home/soft/haproxy # make install PREFIX=/home/soft/haproxy 3. 创建用户 # useradd haprox
HAproxy实现PXC负载均衡keepalived高可用
Du.的博客
03-28 777
搭建PXC集群，可参考https://blog.csdn.net/du18020126395/article/details/115289632步骤1~9 环境规划 hostname 系统版本 备注 10.45.7.128 rac3 redhat7.4 PXC节点1（node1） 10.45.7.129 rac4 ..
通过Haproxy实现PXC集群负载均衡
zhanglei_16的博客
06-19 2637
通过Haproxy来实现PXC数据库集群的读写负载均衡问题，在PXC集群之外再设置一台Haproxy代理服务器， 所有应用程序对于数据库集群的读写操作都发给这台代理服务器，再由Haproxy决定某个读写操作具体 发给集群中的那台数据库服务器。 PXC集群安装可以参考http://blog.csdn.net/zhanglei_16/article/details/51473538 1：安
Centos7使用Docker搭建PXC+双HaProxy高可用MySQL集群
致知的博客
12-30 324
1. 安装Docker 卸载旧版本 $ sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine 更新、添加软件源 $ sudo yum-config-manager...
MySQL数据库集群之PXC方案---Haproxy+PXC集群
盲流子的博客
07-18 2134
在之前的博客中我们已经安装好了三个节点的PXC集群。在这一篇博客中讲解Haproxy与PXC集群的搭配使用。 1. Haproxy简介 HaProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。在七层负载均衡方面的功能很强大（支持cookie track，header rewrite等等），支持双机热备，支持虚拟主机，支持健康检查，同时还提供直观的监控页面，可以清晰...
Mysql+haproxy+mycat+pxc+zookeeper实现高可用集群
02-15
Mysql+haproxy+mycat+pxc+zookeeper实现高可用集群 本文将详细介绍如何使用Mysql、Haproxy、Mycat、PXC、Zookeeper实现高可用集群，涵盖了整个架构图、应用程序的访问流程、数据的读写分离、负载均衡、数据库节点的...
MySQL集群解决方案（主从复制、PXC集群、MyCat、HAProxy）.docx
10-16
MySQL集群解决方案（主从复制、PXC集群、MyCat、HAProxy） MySQL集群解决方案是指在 MySQL 数据库中实现高可用性和高性能的解决方案。该解决方案主要涉及到主从复制、PXC 集群、MyCat 和 HAProxy 等技术。 主从...
超详细干货！Docker+PXC+Haproxy搭建高可用强一致性的MySQL集群.doc
07-13
超详细干货！Docker+PXC+Haproxy搭建高可用强一致性的MySQL集群.doc
App:PigCI Rails应用程序。 取而代之的是一个独立的宝石
05-28
自述文件 这是到现在关闭的PigCI服务的存储库。 它已由取代，无需使用SaaS即可解决此问题。 该应用程序的主要目的是连接到GitHub API并创建Check Suites，如果测试套件报告内存使用或数据库请求量高于预期，则该套件将通过/失败提交。 希望您发现遍历代码很有用！ 如果您想与我联系，可以在上找到我的详细信息。 设置 克隆仓库： 运行bin/setup setup-这将安装gems和node_modules。 从GitHub获取本地开发人员API凭证，在上设置应用 创建一个Slack Bot用户并获取它的API密钥。 可以找到说明 更新凭证， bundle exec rails credentials:edit - RAILS_MASTER_KEY在.env设置。 运行bin/setup 运行bundle exec rails s ＆ bundle exec s
pxc_cluster集群
li175325的博客
08-26 5005
1. 删除mysql或mariadb，关闭防火墙和selinux，修改主机名为pxc1、pxc2、pxc3，修改/etc/hosts。启动后，可以登录任意节点并使用以下命令查看集群状态。PXC 集群允许动态下线节点，但需要注意的是节点的启动命令和关闭命令必须一致，如以引导模式启动的第一个节点必须。第二个节点的配置与上面基本相同，但是需要修改 server id 以及当前节点的名称和地址，即集群中节点总数为 3，此时代表所有节点都已成功加入集群，至此集群已经搭建完成。支持节点自动加入，无需手动拷贝数据。
基于centos系统部署haproxy+MySQL PXC集群
淡定波的博客
06-21 454
一、PXC 介绍 1、基于Galere协议的高可用方案：pxc Galera是Codership提供的多主数据同步复制机制，可以实现多个节点间的数据同步复制以及读写，并且可保障数据库的服务高可用及数据一致性。 基于Galera的高可用方案主要有MariaDB Galera Cluster和Percona XtraDB Cluster（简称PXC），目前PXC用的会比较多一些。 mariadb的集群原理跟PXC一样,maridb-cluster其实就是PXC，两者原理是一样的。 2、PXC 简介 pxc是一套
keepalived+haproxy 安装 PXC高可用
EVISWANG的博客
09-13 853
pxc节点:10.194.41.231 10.194.41.228 10.194.41.227 ha: 10.194.41.220 主 10.194.41.221 备 vip:10.194.41.199 一.安装keepalived 1.yum install keepalived 2.修改配置 主节点4上 vi /etc/keepalived/keepalived
如何使用Skopeo优雅的搬运镜像
最新发布
u012429202的博客
10-19 923
Skopeo。它是一个命令行工具，用于在各种容器镜像和注册表之间执行各种操作。Skopeo 可以处理不需要完整Docker或任何其他容器运行时的场景。下面是一些 Skopeo 可以做的主要事情：1.复制容器镜像： Skopeo 允许用户从一个注册表复制容器镜像到另一个注册表。2.验证镜像： Skopeo 能够验证一个 docker V2s2 或者 OCI 镜像的 manifest，并确认那些特定于平台(如 Linux/amd64, Linux/arm64)的镜像可以在特定架构上使用。
Ubuntu18.04自定义应用图标
Power392413的博客
09-01 1595
Ubuntu18.04自定义应用图标 1.打开终端进入以下文件夹: cd ~/.local/share/applications/ 2. 创建应用图标，为.desktop文件 gedit name.desktop （name为应用名，eg: Pigcha.desktop） 在该文件中输入 #!/usr/bin/env xdg-open [Desktop Entry] Version=1.0 Terminal=false Type=Application Name=Pigcha Exec=/home/***/
pxc与haproxy参数详解
DBASpace的博客
12-14 2555
用户发起Commit，在收到Ok之前 集群每次发起一个动作，都会有一个唯一的编号  PXC独有的Global Trx Id  动作发起者: commit_cb 其它节点多了一个动作： apply_cb  上面的这些动作，是通过那个端号交互的？ 4567 4568端口 IST 只是在节点下线，重启加入那一个时间有用 4444 只会在新节点加入进来时起作用 pxc
构建负载均衡和高可用的PXC环境（HAProxy+Keepalived+PXC）问题补充
Even的博客
09-26 1060
在构建负载均衡和高可用的PXC环境（HAProxy+Keepalived+PXC）的过程中遇到以下问题，另外涉及软件太多，甚是不解，虽后勉强解决,但有不妥： 故障：1、访问haproxy前端口3306无法连接到数据库，连接后端3307可以连上，负载失败；     2、执行clustercheck 报错HTTP/1.1 503 Service Unavailable；          
基于HAproxy的percona xtradb cluster的负载
chenlvzhou的专栏
11-21 2177
HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。HAProxy适用于那些负载较大的web站点，这些站点通常又需要会话保持或七层处理。 HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中，同时可以保护web
MySQL集群实战：Haproxy+主从复制与PXC解决方案
文档内容涵盖了从问题识别、方案选择（包括主从复制和中间件使用），到实际操作技能的学习，如Haproxy的配置和PXC集群的实施，旨在帮助读者构建一个健壮的MySQL集群系统，以应对大规模并发和数据存储需求。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值