docker进阶笔记(高级版)

已于 2022-12-08 14:53:55 修改
阅读量386 收藏 1
点赞数
分类专栏： docker 容器 文章标签： docker mysql java
于 2022-11-21 21:49:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Arrogant_1/article/details/127973197
版权

1. mysql主从复制

  1. mysql-master
# 新建mysql-master容器
docker run -d -p 3307:3306 --privileged=true \
-v /Users/yaoqiang/app/data/mysql-master/log:/var/log/mysql \
-v /Users/yaoqiang/app/data/mysql-master/data:/var/lib/mysql \
-v /Users/yaoqiang/app/data/mysql-master/conf:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=root \
--name mysql-master mysql:8

配置my.cnf文件

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101
## 知道不需要同步的数据库名称
binlog-ignore-db=msyql
## 开启二进制日志功能
log-bin=mall-mysql-bin
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
## 设置使用的二进制日志格式(mixed, statement,row)
binlog_format=mixed
## 二进制日志过期清理时间,默认为0:表示不自动清理
expire_logs_days=7
slave_skip_errors=1062

重启mysql容器,如果报错就把data目录下的mysql.sock删掉,再重启

在mysql-master内执行

CREATE USER 'SLAVE'@'%' IDENTIFIED BY 'ROOT';
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'SLAVE '@'%'; 

# 新建mysql-master容器
docker run -d -p 3307:3306 --privileged=true \
-v /Users/yaoqiang/app/data/mysql-master/log:/var/log/mysql \
-v /Users/yaoqiang/app/data/mysql-master/data:/var/lib/mysql \
-v /Users/yaoqiang/app/data/mysql-master/conf:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=root \
--name mysql-master mysql:8
  1. mysql-slave
# 新建mysql-slave容器
docker run -d -p 3308:3306 --privileged=true \
-v /Users/yaoqiang/app/data/mysql-slave/log:/var/log/mysql \
-v /Users/yaoqiang/app/data/mysql-slave/data:/var/lib/mysql \
-v /Users/yaoqiang/app/data/mysql-slave/conf:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=root \
--name mysql-slave mysql:8

配置my.cnf文件

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 知道不需要同步的数据库名称
binlog-ignore-db=msyql
## 开启二进制日志功能
log-bin=mall-mysql-bin
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
## 设置使用的二进制日志格式(mixed, statement,row)
binlog_format=mixed
## 二进制日志过期清理时间,默认为0:表示不自动清理
expire_logs_days=7
slave_skip_errors=1062
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1
## slave设置为只读(具有super权限的用户除外)
read_only=1
  1. 配置主从
master_host:主数据库的ip地址
master_port:
master_user:在主数据库创建的用于同步数据的用户账号
master_password:
master_log_file:指定从数据库要复制数据的日志文件,通过查看主数据的状态,获取File参数;
	(这个要提前在主数据库中通过命令show master status;查看)
master_log_pos:指定从数据库从哪个位置开始复制数据,通过查看主数据的状态,获取Position参数;
master_connect_retry:连接失败重试的事件间隔,单位为秒.

# 在slave中的mysql中执行
change master to master_host='10.31.1.36' ,master_user='root', master_password='root',master_port=3307,master_log_file='mall-mysql-bin.000001',master_log_pos=712,master_connect_retry=30;
  1. 查看slave状态
# 在slave中的mysql中执行
# \G表示结果将翻转,以竖行的形式展示
show slave status \G;
# 查看Slave_IO_Running和Slave_SQL_Running结果是否为no
  1. 开启主从同步
# 在slave中的mysql中执行
start slave;
# 查看Slave_IO_Running和Slave_SQL_Running结果是否为yes

出现以下错误

Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection. Error_code: MY-002061

解决方法

主数据库执行以下语句;
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'root';
  1. 开始玩耍。在主数据库插入数据然后在从数据库查询。

2. 面试题:1-2亿条数据需要缓存,需要用到分布式redis.

  • 哈希取余分区 :例如有三台机器,则hash(key)/3。
    缺点:如果有一台挂掉或者需要扩缩容,映射关系需要重新计算,会导致hash取余全部数据重新洗牌.
  • 一致性哈希算法分区:
    一致性哈希环:一致性哈希算法对232取模.一致性哈希算法将整个哈希值空间组织成一个虚拟的圆环,232 后一个节点就是0,我们把这个由232个点组成的圆环成为hash环。
    服务器ip节点映射:将集群中的各个IP节点映射到环上的某一个位置.
    key落到服务器的落健规则:hash(key)以后计算出哈希值并确定在环上的位置,从此位置沿环顺时针“行走”,把数据存储到遇到的第一台服务器上。
    优点:容错性和扩展性
    缺点: 会导致数据倾斜,若两个节点距离很近,这它们两个之间的数据会放到第二个节点上,剩下的数据都会放到第一个节点上.
    在这里插入图片描述
  • 哈希槽分区:(大厂必用)
    哈希槽实质是一个数组[0,214-1]共16384个hash slot空间.(1000个以内的集群,16384个槽足矣.)
    槽是数据和节点之间的一层,相当于节点上是槽,槽内是数据.
    redis会根据节点数量大致均等的将哈希槽映射到不同的节点.
    把key对16384取余,余数是多少就落入相应的槽里,这样以槽为单位移动数据会比较容易.

  1. 搭建三主三从redis集群

# 新建6个redis容器,把以下的1改成2-6
# --appendonly yes 开启持久化
docker run -d --name redis-node-1 --net host --privileged=true \
-v /Users/yaoqiang/app/data/redis-node-1/data:/data  \
redis:6.0.8 --cluster-enabled yes 
--appendonly yes --port 6381

  1. 构建集群

redis-cli --cluster create \
10.31.0.85:6381 10.31.0.85:6382 10.31.0.85:6383 \
10.31.0.85:6384 10.31.0.85:6385 10.31.0.85:6386 \ 
--cluster-replicas 1

我的电脑是mac,运行上述命令错误,原因:

The host networking driver only works on Linux hosts, and is not supported on Docker Desktop for Mac, Docker Desktop for Windows, or Docker EE for Windows Server.

暂停学习,等我有空在linux上安装docker再说吧.

时间2022-12-8,我又回来了,上次说到主机模式不可以,大家可以看一下我的另一篇文章docker- network,里面写了如何使用网络.
linux系统可以使用host模式.
其他系统使用网桥模式.

  1. 新建网络

docker network create rediscluster
docker network ls

  1. 搭建三主三从redis集群

# 新建6个redis容器,把以下的1改成2-6
# --appendonly yes 开启持久化
docker run -d -p 6381:6379 --name redis-node-1  \
--network rediscluster --privileged=true \
-v /Users/yaoqiang/app/data/redis-node-1/data:/data  \
redis:6.0.8 --cluster-enabled yes 
--appendonly yes

  1. 构建集群

# 172.18.0.x为容器的ip
redis-cli --cluster create 172.18.0.2:6379 172.18.0.3:6379 172.18.0.4:6379 172.18.0.5:6379 172.18.0.6:6379 172.18.0.7:6379 --cluster-replicas 1

输入yes
运行结果如下图

请添加图片描述

即
请添加图片描述

M为master,S位slave,S挂在M上.

  1. 集群各种命令
# 进入redsi-node-1
redis-cli -p 6379
# 输入
cluster info
cluster nodes
# 进入redis-node-1
# 输入(-c 可以把数据存入其他节点)
redis-cli -p 6379 -c
set k1 v1
# 出现Redirected,即重定向到别的节点存储数据
# 检查集群情况
redis-cli --cluster check ip:端口
  1. 主从容错切换迁移

停止node1节点

docker stop redsi-node-1

进入node2,检查节点发现:node1已经fail,node4成为了master.
如果想让node1重新成为maste,只需要把node4停掉,再开启即可

  1. 主从扩容

三主三从->四主四从,涉及到哈希槽点重新分配.

  • 重新新增两个节点:node7和8.
docker run -d -p 6387:6379 --name redis-node-7  \
--network rediscluster --privileged=true \
-v /Users/yaoqiang/app/data/redis-node-7/data:/data  \
redis:6.0.8 --cluster-enabled yes 
--appendonly yes
  • 进入node7节点内部运行
redis-cli --cluster add-node 自己的ip:6379 node1的ip:6379
# 例如
redis-cli --cluster add-node 172.18.0.8:6379 172.18.0.2:6379

以上选择了node1节点,其实选其他节点也有相同的效果,因为在这里6个容器是一体的.下面的操作也类似.

  • 重新分配槽号
# ip为node1的ip
redis-cli --cluster reshard 172.18.0.2:6379

输入4096,因为10384/4=4096
输入node7的id
输入all

检查一下分配情况,如下图
请添加图片描述

发现槽位并不是均匀重新分配,而是其它master节点匀了一点给node7.

  • 为node7分配slave node8
redis-cli --cluster add-node node8的ip:6379 node7的ip:6379 --cluster-slave --cluster-master-id node7的id
# 例如
redis-cli --cluster add-node 172.18.0.9:6379 172.18.0.8:6379 --cluster-slave --cluster-master-id ade95bd0f054cc58965d30e2a9afc71c205b1325
  1. 主从缩容
  • 删除node8节点 (从节点)
redis-cli --cluster del-node node8的ip:6379 node8的id
# 例如
redis-cli --cluster del-node 172.18.0.9:6379 14b674c5c851426790baf39fa778d4ccc29bd6c6
  • 重新分配槽号
# ip为node1的ip
redis-cli --cluster reshard 172.18.0.2:6379

how many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? node1的id(这里的意思是谁来接收释放的槽位)‘
Please enter all the source node IDs.
Type ‘all’ to use all the nodes as source nodes for the hash slots.
Type ‘done’ once you entered all the source nodes IDs.
Source node #1: node7(要释放槽位的节点id)
Source node #2: done

  • 删除node7节点 (主节点)
redis-cli --cluster del-node node8的ip:6379 node8的id
# 例如
redis-cli --cluster del-node 172.18.0.8:6379 ade95bd0f054cc58965d30e2a9afc71c205b1325
代码写到手抽筋
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java高级开发工程师面试笔记.zip
06-17
Java高级开发工程师面试笔记主要涵盖了Java编程语言的高级概念、框架、设计模式、并发处理、数据库、网络编程、性能优化等多个关键领域。以下是对这些知识点的详细解释： 1. **Java高级概念**：这部分通常包括Java ...
韩顺平PHP从入门到精通笔记.zip
05-25
...韩顺平老师的"PHP从入门到精通笔记"深入浅出地介绍了PHP的基本概念和语法，帮助初学者快速...通过韩顺平老师的"PHP从入门到精通笔记"，你可以系统地学习PHP，从基础知识到高级应用，逐步成长为一名熟练的PHP开发者。
斌哥的 Docker 进阶指南
weixin_33743703的博客
04-29 124
过去的一年中，关于 Docker 的话题从未断过，而如今，从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高，关于 Docker 的讨论更是有增无减。另一方面，大家的注意力也渐渐从 “Docker 是什么”转移到“实践 Docker”与“监控 Docker”上。 本文转自刘斌博文「如何选择 Docker 监控方案 ...
Java高级开发必备--Docker进阶（一篇详细教程，进阶Docker）
eternally_zh128@sina.com的博客
01-13 279
六、容器数据卷 6.1什么是数据卷？ 1.docker理念回顾 将应用和环境打包成一个镜像！ 数据应该在哪？如果数据都放在容器中，那么我们容器删除，数据就会丢失！ 需求：数据可以持久化 【例如】：MySQL，容器删了，删库跑路！ 需求：MySQL的数据可以存储在本地！ 所以就需要，容器之间可以有一个数据共享的技术！Docker容器中产生的数据，同步到本地，这就是卷技术！说白了，就是目录的挂载，将我们容器的目录挂载到Linux上面！ 总结：为什么用卷？容器的持久化和同步操作！容器间也是可以数据共享的！ 方式
docker整理进阶篇
xiaofang2015的博客
05-29 866
docker进阶篇：转自https://www.cnblogs.com/sparkdev/p/9092082.html 整理的笔记：镜像方面的： registry保存docker镜像，其中还包含镜像层次结构和关于镜像的元数据。 repository 是镜像组，是镜像集合，里面含有不同版本，版本之间用tag区分。 manifest(描述文件)是存在于Registry中作为docker镜像的元数据文件...
狂神说docker进阶笔记，大厂Java核心面试题出炉
2401_83411843的博客
03-19 897
小编精心为大家准备了一手资料以上Java高级架构资料、源码、笔记、视频。Dubbo、Redis、设计模式、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术【附】架构书籍BAT面试的20道高频数据库问题解析Java面试宝典Netty实战算法BATJ面试要点及Java架构师进阶资料面试宝典3. Netty实战4. 算法[外链图片转存中…(img-U68XmFzv-1710821496834)]BATJ面试要点及Java架构师进阶资料。
docker笔记-进阶版
可乐多点冰的博客
06-15 393
一、进阶基础 虚拟化：其核心是对资源的抽象。目的是为了再同一个主机上同时运行多个系统或者应用，从而提升系统资源的利用率，降低成本。 虚拟化分为了很多，其中的2个有完全虚拟化和操作系统级虚拟化。 docker是虚拟化技术中的操作系统级虚拟化，直接复用宿主机的操作系统。即宿主机内核通过创建多个虚拟的操作系统实例（内核和库）来隔离不同的进程。 虚拟机vmware软件则是完全虚拟化，其模拟完整的底层硬件环境和特权指令的执行过程。 核心概念 镜像：生成容器模本（源代码）。由多个只读层组成。与容器的唯一区
Docker笔记
热门推荐
ThinkStu的博客
05-05 3万+
docker就是一个容器，可以理解为更进一步的虚拟机。
2022尚硅谷docker学习笔记
weixin_46139463的博客
01-10 1786
本博客基础篇讲解细致且深度，并新增了大厂进阶篇（于后期更新），技术点从入门到高级全面覆盖！博客同时适用于零基础小白和已熟悉Docker的使用者，可各取所需，有选择性和针对性的学习，哪里不会点哪里。
Dockers进阶02--Swarm集群、Stack、Secret、Config--(狂神说docker学习笔记)完结撒花
学无止境,勤则可达；志存高远,恒亦能成！
12-03 1944
Docker Swarm 01 购买服务器 购买服务器（4台-1核2G 一主三从） 确保余额大于100 按量付费，用完即刻释放 主要在同个网段,不然后面互相ping不通需要去做linux认证 k8s至少一个月时间精通，2000元 02 给4台服务器安装docker环境 （xshell同步操作省时间）同步安装 xshell免费版最多开四个链接 1、yum安装gcc相关环境（确保虚拟机可以上外网） yum -y install gcc yum -y install gcc-c++ 2、卸载旧的
2024阿里巴巴钻石级级“Docker全线笔记”新鲜出炉
2401_84092169的博客
04-30 535
在开头跟大家分享的时候我就说，面试我是没有做好准备的，全靠平时的积累，确实有点临时抱佛脚了，以至于我自己还是挺懊恼的。（准备好了或许可以拿个40k，没做准备只有30k+，你们懂那种感觉吗）如何准备面试？1、前期铺垫（技术沉积）程序员面试其实是对于技术的一次摸底考试，你的技术牛逼，那你就是大爷。大厂对于技术的要求主要体现在：基础，原理，深入研究源码，广度，实战五个方面，也只有将原理理论结合实战才能把技术点吃透。
华为工程师linux的笔记-第2章 .pdf
07-05
Linux进阶篇总共包含9个章节，第15章到第38章学习内容分别包括：Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业...
阅读笔记：阅读笔记
02-18
在这个“阅读笔记”项目中，我们可以看到三个不同层次的软件开发学习资源，分别是针对初学者的基础知识，中级开发者的核心技能，以及高级开发者的专业进阶。 1. **代码201-软件开发基础**： - 这个部分可能涵盖了...
Docker Push Docker Hub
w13511069150的博客
07-11 457
首先可以参考 Docker | 将自己的docker镜像推送到docker hub[图文详情]_如何将自己的docker镜像上传到dockerhub上-CSDN博客 将自己的镜像打标签 和 镜像推送到 docker hub上的图文注意一下1.打标签之前 docker tag paddleocr_fast_api:1.0 hmgx/wlx:3.02.打标签之后3.开始推送docker push hmgx/wlx:3.0 4.推送完成就可以在 docker hub上查看到了。
Docker_指令篇
最新发布
2401_83326044的博客
07-15 343
Docker常用指令。
docker build 建立镜像，多出很多 none 的中间层镜像
m0_37192554的博客
07-15 146
实际上，这些镜像也没必要删除，在docker中，相同的层只会存一遍，而这些镜像是别的镜像的依赖，因此并不会因为它们被列出来而多存了一份，无论如何你也会需要它们。只要删除那些依赖它们的镜像后，这些依赖的中间层镜像也会被连带删除。当新版本发布后重新pull，旧的镜像名会被新镜像所占用，旧镜像的名字会变成。仓库名、标签均为的镜像被称为虚悬镜像，一般来说，虚悬镜像已经失去了存在的价值，是可以随意删除的。这些事 docker build 构建时候的中间层镜像不用删除，删除镜像会自动删除。
docker将Java、vue、nginx打进镜像（涉及容器打成镜像）
qq_37752382的博客
07-15 324
按照上文拉取centos7，然后将需要的东西直接打进脚本，这样最简单，但是在拉取过程中，初始镜像contos7安装nginx需要安装一些工具包，拉取的时候报错了，原因还是在镜像源上，并且还想在上面装一些工具，另外创建容器不应该在里面做很多初始化的东西，每次更新业务包就行，4）准备文件完成后执行下面的就行（如果配置文件不对，比如nginx的配置等先进入镜像手动调整好，没问题了，再删除掉容器和镜像重新制作镜像即可）本文不讲安装docker,安装好安装，镜像源稍微麻烦点。1）生成镜像并创建容器。
docker基础知识以及windows上的docker desktop 安装
weixin_45747396的博客
07-11 1048
我也不清楚啥意思，只管在cmd中下载了一个镜像，一直卡在那里，回去睡觉了，放在那里过了一夜之后，镜像没下载下来，但是docker可以正常运行了。需要拉下镜像— 将镜像文件从docker下载到本地----修改文件----创建新的docker镜像-----构建新的镜像----运行新镜像。从Registry下拉镜像，使用docker run来“解压缩”镜像，可获得一个可以运行的独立的环境和应用程序，即为容器。选一个基础操作系统和语言后，将对应的文件系统、依赖库、配置等打包为一个类似压缩包的文件，就是基础镜像。
docker 进阶安装
09-13
以下是一些关于 Docker 进阶学习的建议： 1. 学习容器编排工具：Docker Compose 和 Kubernetes 是两个常用的容器编排工具。通过学习它们，您可以更好地管理和编排多个容器，构建复杂的应用架构。 2. 持续集成与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值