day01
文章目录
集群
- 将很多机器组织到一起，作为一个整体对外提供服务
- 集群在扩展性、性能方面都可以做到很灵活
- 集群分类：
- 负载均衡集群(Load Balance): 用户数量大
- 高可用集群(High Availability): 负载不高，要求业务连续性
- 高性能计算(High Performance Computing): 更快的计算速度
LVS
-
LVS：Linux Virtual Server，Linux虚拟服务器
-
实现负载均衡集群
-
作者：章文嵩。国防科技大学读博士期间编写
-
LVS的工作模式：
- NAT：网络地址转换
- DR：路由模式
- TUN：隧道模式
-
术语：
- 调度器：LVS服务器
- 真实服务器Real Server：提供服务的服务器
- VIP：虚拟地址，提供给用户访问的地址
- DIP：指定地址，LVS服务器上与真实服务器通信的地址
- RIP：真实地址，真实服务器的地址
-
常见的调度算法，共10个，常用的有4个：
- 轮询rr：Real Server轮流提供服务
- 加权轮询wrr：根据服务器性能设置权重，权重大的得到的请求更多
- 最少连接lc：根据Real Server的连接数分配请求
- 加权最少连接wlc：类似于wrr，根据权重分配请求
配置LVS NAT模式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DyWwbzfE-1682339214384)(…/imgs/image-20220610101225625.png)]
- 环境准备
- client1：eth0->192.168.88.10，网关192.168.88.5
- lvs1: eth0 -> 192.168.88.5；eth1->192.168.99.5
- web1：eth1->192.168.99.100；网关192.168.99.5
- web2：eth1->192.168.99.200；网关192.168.99.5
# 创建4台虚拟机
[root@zzgrhel8 ~]# vm clone client1 lvs1 web{1..2}
# 初始化虚拟机
[root@zzgrhel8 ~]# virsh console client1 # 连接client1控制台
localhost login: root
Password: a
# 登陆之后，将以下内容粘贴到终端
hostnamectl set-hostname client1
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.88.10/24 autoconnect yes
nmcli connection down eth0
nmcli connection up eth0
echo a | passwd --stdin root
nmcli connection modify eth0 ipv4.gateway 192.168.88.5
nmcli connection down eth0
nmcli connection up eth0
# 退出
[root@localhost ~]# exit
# 退出之后，按ctrl+]可回到真机
# 真机通过ssh连接client1
[root@zzgrhel8 ~]# rm -f ~/.ssh/known_hosts
[root@zzgrhel8 ~]# ssh 192.168.88.10
# 配置第2台机器作为lvs1
[root@zzgrhel8 ~]# virsh console lvs1
Kernel 3.10.0-862.el7.x86_64 on an x86_64
localhost login: root
Password: a
# 登陆之后，将以下内容复制到命令行
hostnamectl set-hostname lvs1
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.88.5/24 autoconnect yes
nmcli connection down eth0
nmcli connection up eth0
nmcli connection modify eth1 ipv4.method manual ipv4.addresses 192.168.99.5/24 autoconnect yes
nmcli connection down eth1
nmcli connection up eth1
echo a | passwd --stdin root
# 退出
[root@localhost ~]# exit
# 退出之后，按ctrl+]可回到真机
# 真机通过ssh连接lvs1
[root@zzgrhel8 ~]# ssh 192.168.88.5
# 配置第3台机器作为web1
[root@zzgrhel8 ~]# virsh console web1
localhost login: root
Password: a
# 登陆之后，将以下内容复制到命令行
hostnamectl set-hostname web1
nmcli connection modify eth1 ipv4.method manual ipv4.addresses 192.168.99.100/24 autoconnect yes
nmcli connection down eth1
nmcli connection up eth1
nmcli connection modify eth1 ipv4.gateway 192.168.99.5
nmcli connection down eth1
nmcli connection up eth1
echo a | passwd --stdin root
# 退出
[root@localhost ~]# exit
# 退出之后，按ctrl+]可回到真机
# 真机通过ssh连接web1
[root@zzgrhel8 ~]# ssh 192.168.99.100
# 配置第4台机器作为web2
[root@zzgrhel8 ~]# virsh console web2
localhost login: root
Password: a
# 登陆之后，将以下内容复制到命令行
hostnamectl set-hostname web2
nmcli connection modify eth1 ipv4.method manual ipv4.addresses 192.168.99.200/24 autoconnect yes
nmcli connection down eth1
nmcli connection up eth1
nmcli connection modify eth1 ipv4.gateway 192.168.99.5
nmcli connection down eth1
nmcli connection up eth1
echo a | passwd --stdin root
# 退出
[root@localhost ~]# exit
# 退出之后，按ctrl+]可回到真机
# 真机通过ssh连接web2
[root@zzgrhel8 ~]# ssh 192.168.99.200
- 虚拟机已关闭selinux和防火墙 。
配置LVS NAT模式步骤
- 配置2台web服务器
[root@web1 ~]# vim /etc/yum.repos.d/local.repo
[local_repo]
name=CentOS-$releasever - Base
baseurl=ftp://192.168.99.240/dvd
enabled=1
gpgcheck=0
[root@web2 ~]# vim /etc/yum.repos.d/local.repo
[local_repo]
name=CentOS-$releasever - Base
baseurl=ftp://192.168.99.240/dvd
enabled=1
gpgcheck=0
[root@web1 ~]# yum install -y httpd
[root@web2 ~]# yum install -y httpd
# 创建测试页面
[root@web1 ~]# echo "192.168.99.100" > /var/www/html/index.html
[root@web2 ~]# echo "apache web server2" > /var/www/html/index.html
[root@web1 ~]# systemctl enable httpd --now
[root@web2 ~]# systemctl enable httpd --now
# 在lvs1上测试到web服务器的访问
[root@lvs1 ~]# curl http://192.168.99.100/
192.168.99.100
[root@lvs1 ~]# ^100^200 # 将上一条命令中的100换成200，执行
curl http://192.168.99.200/
apache web server2
- 确保lvs1的ip转发功能已经打开。该功能需要改变内核参数
# 查看ip转发功能的内核参数
[root@lvs1 ~]# sysctl -a # 查看所有的内核参数
[root@lvs1 ~]# sysctl -a | grep ip_forward # 查看ip_foward参数
net.ipv4.ip_forward = 1 # 1表示打开转发，0表示关闭转发
# 永久设置打开ip_forward功能
[root@lvs1 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@lvs1 ~]# sysctl -p
# 测试从客户端到服务器的访问
[root@client1 ~]# curl http://192.168.99.100/
192.168.99.100
[root@client1 ~]# curl http://192.168.99.200/
apache web server2
- 安装LVS
[root@lvs1 ~]# yum install -y ipvsadm
- ipvsadm使用说明
[root@lvs1 ~]# ipvsadm
-A: 添加虚拟服务器
-E: 编辑虚拟服务器
-D: 删除虚拟服务器
-t: 添加tcp服务器
-u: 添加udp服务器
-s: 指定调度算法。如轮询rr/加权轮询wrr/最少连接lc/加权最少连接wlc
-a: 添加虚拟服务器后，向虚拟服务器中加入真实服务器
-r: 指定真实服务器
-w: 设置权重
-m: 指定工作模式为NAT
-g: 指定工作模式为DR
- 配置LVS
# 为web服务器创建虚拟服务器，使用rr调度算法
[root@lvs1 ~]# ipvsadm -A -t 192.168.88.5:80 -s rr
# 查看配置
[root@lvs1 ~]# ipvsadm -Ln # L是列出，n是使用数字，而不是名字
# 向虚拟服务器中添加RIP
[root@lvs1 ~]# ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.100 -w 1 -m
[root@lvs1 ~]# ipvsadm -a -t 192.168.88.5:80 -r 192.168.99.200 -w 2 -m
# 查看配置
[root@lvs1 ~]# ipvsadm -Ln
# 验证
[root@client1 ~]# for i in {1..4}
> do
> curl http://192.168.88.5/
> done
apache web server2
192.168.99.100
apache web server2
192.168.99.100
# 删除配置。（如果配置有错，用以下命令删除重配置）
[root@lvs1 ~]# ipvsadm -D -t 192.168.88.5:80
# 修改调度模式为加权轮询
[root@lvs1 ~]# ipvsadm -E -t 192.168.88.5:80 -s wrr
# 验证配置
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.5/; done
apache web server2
apache web server2
192.168.99.100
apache web server2
apache web server2
192.168.99.100
LVS DR模式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CKydrOTp-1682339214386)(…/imgs/lvs-dr.png)]
- LVS DR模式，LVS主机和web服务器都是单网卡。它们连在同一网络中
- 修改实验环境
- client1：eth0-> 192.168.88.10
- lvs1：eth0->192.168.88.5，删除eth1的IP
- web1：eth0->192.168.88.100，删除eth1的IP
- web2：eth0->192.168.88.200，删除eth1的IP
# 删除lvs虚拟服务器配置
[root@lvs1 ~]# ipvsadm -D -t 192.168.88.5:80
[root@lvs1 ~]# ipvsadm -Ln
# 删除lvs1上eth1的配置
[root@lvs1 ~]# nmcli connection modify eth1 ipv4.method disabled ipv4.addresses ''
[root@lvs1 ~]# ifdown eth1
# 修改web1的配置：停掉eth1的地址。配置eth0的地址为192.168.88.100
# 进入网卡配置文件目录
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
# eth0网卡的配置文件叫ifcfg-eth0
[root@web1 network-scripts]# ls ifcfg-eth*
ifcfg-eth0 ifcfg-eth1 ifcfg-eth2 ifcfg-eth3
# 配置eth0地址
[root@web1 network-scripts]# vim ifcfg-eth0
TYPE=Ethernet # 网络类型为以太网
BOOTPROTO=none # IP地址是静态配置的，也可以用static
NAME=eth0 # 为设备重命名 (别名、外号)
DEVICE=eth0 # 网卡设备名（真名）
ONBOOT=yes # 开机激活网卡
IPADDR=192.168.88.100 # IP地址
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.88.254 # 网关
[root@web1 network-scripts]# ifdown eth0; ifup eth0 # 禁用激活网卡
# 在web1上停掉eth1
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
TYPE=Ethernet
BOOTPROTO=none
NAME=eth1
DEVICE=eth1
ONBOOT=no
[root@web1 ~]# ifdown eth1
# 修改web2的网络
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.88.200
NETMASK=255.255.255.0
GATEWAY=192.168.88.254
[root@web2 ~]# ifdown eth0; ifup eth0
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
TYPE=Ethernet
BOOTPROTO=none
NAME=eth1
DEVICE=eth1
ONBOOT=no
[root@web2 ~]# ifdown eth1 # 终端卡住，关掉它，在新终端重新连
配置LVS DR模式
- 在lvs1的eth0上配置vip 192.168.88.15。通过为eth0创建逻辑端口的方式配置vip，为逻辑端口起名为eth0:0
[root@lvs1 ~]# cd /etc/sysconfig/network-scripts/
[root@lvs1 network-scripts]# cp ifcfg-eth0 ifcfg-eth0:0
[root@lvs1 network-scripts]# vim ifcfg-eth0:0
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.88.15
PREFIX=24
[root@lvs1 network-scripts]# ifup eth0:0
# 查看新的地址
[root@lvs1 network-scripts]# ifconfig
- 在2台web服务器的lo上配置vip 192.168.88.15
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web1 network-scripts]# vnet.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2im ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.88.15
NETMASK=255.255.255.255
NETWORK=192.168.88.15
BROADCAST=192.168.88.15
ONBOOT=yes
NAME=lo:0
[root@web1 network-scripts]# ifup lo:0
[root@web1 network-scripts]# ifconfig
# 把web1的配置拷贝到web2上
[root@web1 network-scripts]# scp ./ifcfg-lo:0 192.168.88.200:/etc/sysconfig/network-scripts/
[root@web2 ~]# ifup lo:0
[root@web2 ~]# ifconfig
- 在2台web服务器上配置内核参数，使得它们不响应对192.168.88.15的请求
[root@web1 ~]# sysctl -a | grep arp_ignore
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 0
[root@web1 ~]# sysctl -a | grep arp_announce
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 0
[root@web1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
[root@web1 ~]# sysctl -p
[root@web2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
[root@web2 ~]# sysctl -p
- 在lvs1上配置虚拟服务器
# 创建虚拟服务器
[root@lvs1 ~]# ipvsadm -A -t 192.168.88.15:80 -s wlc
# 向虚拟服务器中加真实服务器
[root@lvs1 ~]# ipvsadm -a -t 192.168.88.15:80 -r 192.168.88.100 -w 1 -g
[root@lvs1 ~]# ipvsadm -a -t 192.168.88.15:80 -r 192.168.88.200 -w 2 -g
# 查看配置
[root@lvs1 ~]# ipvsadm -Ln
# 客户验证
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.15/; done
apache web server2
192.168.99.100
apache web server2
apache web server2
192.168.99.100
apache web server2
- lvs本身没有应用服务器监控功能，如果web服务器出现问题，需要手工从规则中删掉
[root@web1 ~]# systemctl stop httpd
# 客户端访问时，转发到web1上的请求，将会拒绝连接
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.15/; done
apache web server2
curl: (7) Failed connect to 192.168.88.15:80; 拒绝连接
apache web server2
apache web server2
curl: (7) Failed connect to 192.168.88.15:80; 拒绝连接
apache web server2
# 的规则中删除web1
[root@lvs1 ~]# ipvsadm -d -t 192.168.88.15:80 -r 192.168.88.100
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.15/; done
apache web server2
apache web server2
apache web server2
apache web server2
apache web server2
apache web server2
附：出错时，排错步骤：
# 在lvs上可以访问到web服务器
[root@lvs1 ~]# curl http://192.168.88.100/
192.168.99.100
[root@lvs1 ~]# curl http://192.168.88.200/
apache web server2
# 查看vip
[root@lvs1 ~]# ifconfig eth0:0
eth0:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.88.15 netmask 255.255.255.0 broadcast 192.168.88.255
ether 52:54:00:0d:fb:79 txqueuelen 1000 (Ethernet)
[root@web1 ~]# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 192.168.88.15 netmask 255.255.255.255
loop txqueuelen 1000 (Local Loopback)
# 查看内核参数
[root@web1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
# 查看规则
[root@lvs1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.88.15:80 wlc
-> 192.168.88.100:80 Route 1 0 0
-> 192.168.88.200:80 Route 2 0 0
day02
文章目录
KeepAlived高可用集群
- keepalived用于实现高可用集群
- 它的工作原理就是VRRP（虚拟冗余路由协议）
配置高可用的web集群
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-scujbm3E-1682339214386)(/root/下载/NSD2302笔记资料（整理）/第二阶段/nsd2210/imgs/image-20220611102817790.png)]
-
环境说明：
- web1：eth0->192.168.88.100/24
- web2：eth0->192.168.88.200/24
-
配置keepalived
# 在两台web服务器上安装keepalived
[root@web1 ~]# yum install -y keepalived httpd
[root@web2 ~]# yum install -y keepalived httpd
# 修改配置文件
[root@web1 ~]# vim /etc/keepalived/keepalived.conf
12 router_id web1 # 设置本机在集群中的唯一识别符
13 vrrp_iptables # 自动配置iptables放行规则
... ...
20 vrrp_instance VI_1 {
21 state MASTER # 状态，主为MASTER，备为BACKUP
22 interface eth0 # 网卡
23 virtual_router_id 51 # 虚拟路由器地址
24 priority 100 # 优先级
25 advert_int 1 # 发送心跳消息的间隔
26 authentication {
27 auth_type PASS # 认证类型为共享密码
28 auth_pass 1111 # 集群中的机器密码相同，才能成为集群
29 }
30 virtual_ipaddress {
31 192.168.88.80/24 # VIP地址
32 }
33 }
# 删除下面所有行
# 打开一个新的终端监控日志，新日志将出持续显示在屏幕上。退出按ctrl+c
[root@web1 ~]# tail -f /var/log/messages | grep -i keepalived
# 在前一个终端启动服务
[root@web1 ~]# systemctl start keepalived
# 等几秒服务完全启动后，可以查看到vip
[root@web1 ~]# ip a s eth0 # eth0将会增加额外的88.80地址
# 配置web2
[root@web1 ~]# scp /etc/keepalived/keepalived.conf 192.168.88.200:/etc/keepalived/
[root@web2 ~]# vim /etc/keepalived/keepalived.conf
12 router_id web2 # 改id
13 vrrp_iptables
... ...
20 vrrp_instance VI_1 {
21 state BACKUP # 改状态
22 interface eth0
23 virtual_router_id 51
24 priority 80 # 改优先级
25 advert_int 1
26 authentication {
27 auth_type PASS
28 auth_pass 1111
29 }
30 virtual_ipaddress {
31 192.168.88.80/24
32 }
33 }
# 启动服务
[root@web2 ~]# systemctl start keepalived
# 查看地址，eth0不会出现vip
[root@web2 ~]# ip a s eth0
# 测试，现在访问88.80，看到是web1上的内容
[root@client1 ~]# curl http://192.168.88.80/
192.168.99.100
# 在web2上监控日志
[root@web2 ~]# tail -f /var/log/messages | grep -i keepalived
# 关闭web1上的keepalived，观察web2的日志输出
[root@web1 ~]# systemctl stop keepalived.service
# 测试，现在访问88.80，看到是web2上的内容
[root@client1 ~]# curl http://192.168.88.80/
apache web server2
# 在web2上查看vip，可以查看到vip 192.168.88.80
[root@web2 ~]# ip a s eth0
配置高可用、负载均衡的web集群
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4PAIz4II-1682339214387)(/root/下载/NSD2302笔记资料（整理）/第二阶段/nsd2210/imgs/image-20211103113155142.png)]
-
环境说明：LVS-DR模式
- client1：eth0->192.168.88.10
- lvs1：eth0->192.168.88.5
- lvs2：eth0->192.168.88.6
- web1：eth0->192.168.88.100
- web2：eth0->192.168.88.200
-
环境准备
# 关闭2台web服务器上的keepalived
[root@web1 ~]# systemctl stop keepalived.service
[root@web2 ~]# systemctl stop keepalived.service
[root@web1 ~]# yum remove -y keepalived
[root@web2 ~]# yum remove -y keepalived
# 创建新虚拟机lvs2
[root@zzgrhel8 ~]# vm clone lvs2
[root@zzgrhel8 ~]# virsh console lvs2 # 连接虚机控制台
localhost login: root
Password: a
# 将以下内容粘贴到虚拟机，进行初始化
hostnamectl set-hostname lvs2
nmcli connection modify eth0 ipv4.method manual ipv4.addresses 192.168.88.6/24 autoconnect yes
nmcli connection down eth0
nmcli connection up eth0
echo a | passwd --stdin root
# 退出
[root@localhost ~]# exit
# 按ctrl + ]退回到真机
# 连接测试
[root@zzgrhel8 ~]# ssh 192.168.88.6
配置高可用、负载均衡
-
在2台web服务器的lo上配置vip
-
在2台web服务器上配置内核参数
-
删除lvs1上的
eth0:0。因为vip将由keepalived接管
[root@lvs1 ~]# ifdown eth0:0
[root@lvs1 ~]# rm -f /etc/sysconfig/network-scripts/ifcfg-eth0:0
- 删除lvs1上的lvs规则。因为lvs规则将由keepalived创建
[root@lvs1 ~]# ipvsadm -Ln # 查看规则
[root@lvs1 ~]# ipvsadm -D -t 192.168.88.15:80
- 在lvs上配置keepalived
[root@lvs1 ~]# yum install -y ipvsadm keepalived
[root@lvs2 ~]# yum install -y ipvsadm keepalived
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
12 router_id lvs1 # 为本机取一个唯一的id
13 vrrp_iptables # 自动开启iptables放行规则
... ...
20 vrrp_instance VI_1 {
21 state MASTER
22 interface eth0
23 virtual_router_id 51
24 priority 100
25 advert_int 1
26 authentication {
27 auth_type PASS
28 auth_pass 1111
29 }
30 virtual_ipaddress {
31 192.168.88.15 # vip地址，与web服务器的vip一致
32 }
33 }
# 以下为keepalived配置lvs的规则
35 virtual_server 192.168.88.15 80 { # 声明虚拟服务器地址
36 delay_loop 6 # 健康检查延迟6秒开始
37 lb_algo wrr # 调度算法为wrr
38 lb_kind DR # 工作模式为DR
39 persistence_timeout 50 # 50秒内相同客户端调度到相同服务器
40 protocol TCP # 协议是TCP
41
42 real_server 192.168.88.100 80 { # 声明真实服务器
43 weight 1 # 权重
44 TCP_CHECK { # 通过TCP协议对真实服务器做健康检查
45 connect_timeout 3 # 连接超时时间为3秒
46 nb_get_retry 3 # 3次访问失败则认为真实服务器故障
47 delay_before_retry 3 # 两次检查时间的间隔3秒
48 }
49 }
50 real_server 192.168.88.200 80 {
51 weight 2
52 TCP_CHECK {
53 connect_timeout 3
54 nb_get_retry 3
55 delay_before_retry 3
56 }
57 }
58 }
# 以下部分删除
# 启动keepalived服务
[root@lvs1 ~]# systemctl start keepalived
# 验证
[root@lvs1 ~]# ip a s eth0 # 可以查看到vip
[root@lvs1 ~]# ipvsadm -Ln # 出现规则
# 客户端连接测试
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.15/; done
apache web server2
apache web server2
apache web server2
apache web server2
apache web server2
apache web server2
# 为了效率相同的客户端在50秒内分发给同一台服务器。为了使用同一个客户端可以看到轮询效果，可以注释配置文件中相应的行后，重启keepavlied。
# 配置LVS2
[root@lvs1 ~]# scp /etc/keepalived/keepalived.conf 192.168.88.6:/etc/keepalived/
[root@lvs2 ~]# vim /etc/keepalived/keepalived.conf
12 router_id lvs2
21 state BACKUP
24 priority 80
[root@lvs2 ~]# systemctl start keepalived
[root@lvs2 ~]# ipvsadm -Ln # 出现规则
- 验证
# 1. 验证真实服务器健康检查
[root@web1 ~]# systemctl stop httpd
[root@lvs1 ~]# ipvsadm -Ln # web1在规则中消失
[root@lvs2 ~]# ipvsadm -Ln
[root@web1 ~]# systemctl start httpd
[root@lvs1 ~]# ipvsadm -Ln # web1重新出现在规则中
[root@lvs2 ~]# ipvsadm -Ln
# 2. 验证lvs的高可用性
[root@lvs1 ~]# shutdown -h now # 关机
[root@lvs2 ~]# ip a s eth0 # 可以查看到vip
# 客户端访问vip依然可用
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.15/; done
192.168.99.100
apache web server2
apache web server2
192.168.99.100
apache web server2
apache web server2
HAProxy
- 也是一款实现负载均衡的调度器
- 适用于负载特别大的web站点
- HAProxy的工作模式：
- mode http：只适用于web服务
- mode tcp：适用于各种服务
- mode health：仅做健康检查，很少使用
配置haproxy
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9uJ8ycVK-1682339214387)(/root/下载/NSD2302笔记资料（整理）/第二阶段/nsd2210/imgs/image-20220611102902015.png)]
-
环境准备：
- client1：eth0 -> 192.168.88.10
- HAProxy：eth0 -> 192.168.88.5
- web1：eth0 -> 192.168.88.100
- web2：eth0 -> 192.168.88.200
-
初始化配置
# 关闭192.168.88.6
[root@lvs2 ~]# shutdown -h now
# 清理192.168.88.5
[root@lvs1 ~]# yum remove -y ipvsadm keepalived
[root@lvs1 ~]# hostnamectl set-hostname haproxy1
# web服务器，不需要配置vip，不需要改内核参数。但是存在对haproxy也没有影响。
- 配置haproxy
# 装包
[root@haproxy1 ~]# yum install -y haproxy
[root@haproxy1 ~]# vim /etc/haproxy/haproxy.cfg
# 配置文件中，global是全局配置；default是缺省配置，如果后续有和default相同的配置，default配置将会被覆盖。
# 配置文件中，frontend(前端)描述haproxy怎么和用户交互；backend(后端)描述haproxy怎么和后台应用服务器交互。这两个选项，一般不单独使用，而是合并到一起，名为listen。
# 将61行之后全部删除，写入以下内容
61 listen myweb 0.0.0.0:80 # 定义本机监听地址
62 balance roundrobin # 调度算法为轮询
# 对web服务器做健康检查，2秒检查一次，如果连续2次检查成功，认为服务器是健康的，如果连续5次检查失败，认为服务器坏了
63 server web1 192.168.88.100 check inter 2000 rise 2 fall 5
64 server web2 192.168.88.200 check inter 2000 rise 2 fall 5
65
66 listen stats 0.0.0.0:1080 # 定义监控地址
67 stats refresh 30s # 设置监控页面自动刷新时间为30秒
68 stats uri /stats # 定义监控地址是/stats
69 stats auth admin:admin # 监控页面的用户名和密码都是admin
# 启服务
[root@haproxy1 ~]# systemctl start haproxy.service
# 使用firefox访问监控地址 http://192.168.88.5:1080/stats
# 客户端访问测试
[root@client1 ~]# for i in {1..6}; do curl http://192.168.88.5/; done
192.168.99.100
apache web server2
192.168.99.100
apache web server2
192.168.99.100
apache web server2
监控地址 http://192.168.88.5:1080/stats如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DlgHTqdR-1682339214388)(/root/下载/NSD2302笔记资料（整理）/第二阶段/nsd2210/imgs/image-20220622165716799.png)]
- Queue：队列长度。Cur当前队列长度，Max最大队列长度，Limit限制长度
- Session rate：会话率，每秒钟的会话数
- Sessions：会话数
- Bytes：字节数。In收到的字节数，Out发出的字节数
- Denied：拒绝。Req请求，Resp响应
- Errors：错误
- Warning：警告
- Status：状态
- LastChk：上一次检查。L4OK，第四层tcp检查通过
- Wght：权重
负载均衡调度器比较：https://blog.51cto.com/u_13538361/3268760
- nginx：可以工作在第4层和第7层。可以根据url进行负载均衡。正则表达式支持的更广泛。
- lvs：效率最高，负载能力最强。工作在第4层。
- haproxy：可以工作在第4层和第7层。可以根据url进行负载均衡。支持有限的正则表达式。
明天用到的虚拟机：192.168.88.11-192.168.88.13，名字是node1-node3。client1，ip是192.168.88.10。配置好yum，关闭防火墙和selinux。
# 压力测试
[root@client1 ~]# yum install -y httpd-tools
[root@client1 ~]# ab -n 20000 -c500 http://192.168.88.5/
3 实验题：使用ansible自动化配置Keepalived+LVS DR实验
director主机编写~/mywork/lvs_dr.yml剧本，剧本第一个剧目(play)要求如下：
- 远程director和director_slave主机
- 安装keepalived软件包
- 修改配置文件，配置VRRP，director为master，director_slave为backup
- 修改配置文件，配置VIP为192.168.88.16/24
- 修改配置文件，配置LVS_DR集群，后端服务器为web1和web2
director主机编写~/mywork/lvs_dr.yml剧本，剧本第二个剧目(play)要求如下：
- 远程web1和web2主机（这两台主机都属于web组）
- web1和web2新建/etc/sysconfig/networ-scripts/ifcfg-lo:0
- ifcfg-lo:0网卡信息配置如下：
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yesNAME=lo:0
- web1和web2修改/etc/sysctl.conf文件，添加内核参数防止地址冲突，参数如下：
net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_announce = 2
答案看tmooc的案例
day03
文章目录
ceph
-
ceph被称作面向未来的存储
-
中文手册：
- https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5/html/architecture_guide/index
- http://docs.ceph.org.cn/
-
ceph可以实现的存储方式：
- 块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”
- 文件系统存储：类似于NFS的共享方式，为使用者提供共享文件夹
- 对象存储：像百度云盘一样，需要使用单独的客户端
-
ceph还是一个分布式的存储系统，非常灵活。如果需要扩容，只要向ceph集中增加服务器即可。
-
ceph存储数据时采用多副本的方式进行存储，生产环境下，一个文件至少要存3份。ceph默认也是三副本存储。
ceph的构成
- Ceph OSD 守护进程： Ceph OSD 用于存储数据。此外，Ceph OSD 利用 Ceph 节点的 CPU、内存和网络来执行数据复制、纠删代码、重新平衡、恢复、监控和报告功能。存储节点有几块硬盘用于存储，该节点就会有几个osd进程。
- Ceph Mon监控器： Ceph Mon维护 Ceph 存储集群映射的主副本和 Ceph 存储群集的当前状态。监控器需要高度一致性，确保对Ceph 存储集群状态达成一致。维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。
- MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据。
- RGW：对象存储网关。主要为访问ceph的软件提供API接口。
搭建ceph集群
- 节点准备
| 主机名 | IP地址 |
|---|---|
| node1 | 192.168.88.11/24 |
| node2 | 192.168.88.12/24 |
| node3 | 192.168.88.13/24 |
| client1 | 192.168.88.10/24 |
# 创建4台虚拟机
[root@zzgrhel8 ~]# vm clone node{1..3} client1
- 关机，为node1-node3各额外再添加2块20GB的硬盘
# 查看添加的硬盘，注意硬盘名字
[root@node1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
vdb 253:16 0 20G 0 disk
vdc 253:32 0 20G 0 disk
- 配置yum源。除了系统yum源以外，还需要配置ceph的yum源
# 配置yum源。
[root@pubserver ~]# mkdir /iso
[root@pubserver ~]# mkdir /var/ftp/ceph
[root@zzgrhel8 ~]# scp /linux-soft/2/ceph10.iso 192.168.88.240:/iso/
[root@pubserver ~]# vim /etc/fstab # 追加一行如下
/iso/ceph10.iso /var/ftp/ceph iso9660 defaults 0 0
[root@pubserver ~]# mount -a
[root@pubserver ~]# df -h /var/ftp/ceph/
文件系统 容量 已用 可用 已用% 挂载点
/dev/loop3 284M 284M 0 100% /var/ftp/ceph
[root@pubserver ~]# ls /var/ftp/ceph/
EULA MON README Tools
GPL OSD RPM-GPG-KEY-redhat-release TRANS.TBL
# 在node1-3节点上配置yum
[root@node1 ~]# cat /etc/yum.repos.d/local.repo
[local_repo]
name=CentOS-$releasever - Base
baseurl=ftp://192.168.88.240/dvd
enabled=1
gpgcheck=0
[root@node1 ~]# vim /etc/yum.repos.d/ceph.repo
[osd]
name=ceph osd
baseurl=ftp://192.168.88.240/ceph/OSD
enabled=1
gpgcheck=0
[mon]
name=ceph mon
baseurl=ftp://192.168.88.240/ceph/MON
enabled=1
gpgcheck=0
[tools]
name=ceph tools
baseurl=ftp://192.168.88.240/ceph/Tools
enabled=1
gpgcheck=0
[root@node1 ~]# yum repolist
... ...
repolist: 10,174
[root@node1 ~]# scp /etc/yum.repos.d/ceph.repo 192.168.88.12:/etc/yum.repos.d/
[root@node1 ~]# ^12^13
[root@node1 ~]# ^13^10
-
各节点务必关闭selinux和防火墙
-
集群安装前的准备工作
# ceph为我们提供了一个ceph-deploy工具，可以在某一节点上统一操作全部节点
# 将node1作为部署节点，将来的操作都在node1上进行。这样，需要node1能够免密操作其他主机
[root@node1 ~]# ssh-keygen # 生成密钥对
[root@node1 ~]# for i in {10..13}
> do
> ssh-copy-id 192.168.88.$i
> done
# 在所有的主机上配置名称解析。注意，解析的名字必须是该机器的主机名
[root@node1 ~]# vim /etc/hosts # 增加4行
... ...
192.168.88.10 client1
192.168.88.11 node1
192.168.88.12 node2
192.168.88.13 node3
[root@node1 ~]# for i in 10 12 13
> do
> scp /etc/hosts 192.168.88.$i:/etc/
> done
- 安装集群
# 在3个节点上安装软件包
[root@node1 ~]# for i in node{1..3}
> do
> ssh $i yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw
> done
# 配置ntp服务器
[root@pubserver ~]# yum install -y chrony
[root@pubserver ~]# vim /etc/chrony.conf
allow 192.168.88.0/24 # 授权192.168.88.0/24可以时钟同步
local stratum 10 # 即使没有从一个源同步时钟，也为其他主机提供时间
[root@pubserver ~]# systemctl restart chronyd
# 配置node1-3成为pubserver的NTP客户端
[root@node1 ~]# for i in node{1..3}
> do
> ssh $i yum install -y chrony
> done
[root@node1 ~]# vim /etc/chrony.conf # 将server开头的全注释，添加下面一行
server 192.168.88.240 iburst
[root@node1 ~]# for i in node{2..3}
> do
> scp /etc/chrony.conf $i:/etc/
> done
[root@node1 ~]# for i in node{1..3}
> do
> ssh $i systemctl restart chronyd
> done
# 验证时间是否同步 client1前面有^*表示同步成功
[root@node1 ~]# chronyc sources -v
... ...
^* pubserver 10 6 17 40 -4385ns[-1241us] +/- 162us
# 在node1上安装ceph-deploy部署工具
[root@node1 ~]# yum install -y ceph-deploy
# 查看使用帮助
[root@node1 ~]# ceph-deploy --help
[root@node1 ~]# ceph-deploy mon --help # 查看mon子命令的帮助
# 创建ceph-deploy工作目录
[root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster
# 创建一个新的集群。
[root@node1 ceph-cluster]# ceph-deploy new node{1..3}
[root@node1 ceph-cluster]# ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring
[root@node1 ceph-cluster]# tree .
.
├── ceph.conf # 集群配置文件
├── ceph-deploy-ceph.log # 日志文件
└── ceph.mon.keyring # 共享密钥
# 开启快照功能。
[root@node1 ceph-cluster]# vim ceph.conf # 尾部追加一行如下
rbd_default_features = 1
# 初始化monitor
[root@node1 ceph-cluster]# ceph-deploy mon create-initial
# 如果安装过程中出现keyring...这种报错，可以试着执行以下命令：
[root@node1 ceph-cluster]# ceph-deploy gatherkeys node{1..3}
# 如果安装错误，可以清理数据后，重新安装。清理数据命令：
[root@node1 ceph-cluster]# ceph-deploy purge node1
[root@node1 ceph-cluster]# ceph-deploy purge node2
[root@node1 ceph-cluster]# ceph-deploy purge node3
[root@node1 ceph-cluster]# systemctl status ceph-mon*
● ceph-mon@node1.service .. ..systemctl status ceph-mon*
[root@node2 ~]# systemctl status ceph-mon*
● ceph-mon@node2.service ... ...
[root@node3 ~]# systemctl status ceph-mon*
● ceph-mon@node3.service ... ...
# 注意：这些服务在30分钟之内只能启动3次，超过报错。
# 查看集群状态systemctl status ceph-mon*
[root@node1 ceph-cluster]# ceph -s
health HEALTH_ERR # 因为还没有硬盘，所以状态是HEALTH_ERR
systemctl status ceph-mon*
# 创建OSD
[root@node1 ceph-cluster]# ceph-deploy disk --help
# 初始化各主机的硬盘。vmware应该是sdb和sdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node1:vdb node1:vdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node2:vdb node2:vdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node3:vdb node3:vdc
# 创建存储空间。ceph会硬盘分为两个分区，一个分区大小为5GB，用于保存ceph的内部资源；另一个分区是剩余全部空间
[root@node1 ceph-cluster]# ceph-deploy osd --help
[root@node1 ceph-cluster]# ceph-deploy osd create node1:vd{b,c}
[root@node1 ceph-cluster]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
vdb 253:16 0 20G 0 disk
├─vdb1 253:17 0 15G 0 part /var/lib/ceph/osd/ceph-0
└─vdb2 253:18 0 5G 0 part
vdc 253:32 0 20G 0 disk
├─vdc1 253:33 0 15G 0 part /var/lib/ceph/osd/ceph-1
└─vdc2 253:34 0 5G 0 part
# 将会出现2个osd进程，因为有两块硬盘用于ceph
[root@node1 ceph-cluster]# systemctl status ceph-osd*
# 继续初始化其他节点的OSD
[root@node1 ceph-cluster]# ceph-deploy osd create node2:vd{b,c}
[root@node1 ceph-cluster]# ceph-deploy osd create node3:vd{b,c}
# 查看集群状态
[root@node1 ceph-cluster]# ceph -s
health HEALTH_OK # 状态是HEALTH_OK表示一切正常
实现块存储
- 块设备存取数据时，可以一次存取很多。字符设备只能是字符流
[root@node1 ceph-cluster]# ll /dev/vda
brw-rw---- 1 root disk 253, 0 11月 4 10:15 /dev/vda
# b表示block，块设备
[root@node1 ceph-cluster]# ll /dev/tty
crw-rw-rw- 1 root tty 5, 0 11月 4 10:54 /dev/tty
# c表示character，字符设备
- 块存储，就是可以提供像硬盘一样的设备。使用块存储的节点，第一次连接块设备，需要对块设备进行分区、格式化，然后挂载使用。
- ceph提供存储时，需要使用存储池。为了给客户端提供存储资源，需要创建名为存储池的容器。存储池类似于逻辑卷管理中的卷组。卷组中包含很多硬盘和分区；存储池中包含各节点上的硬盘。
# ceph默认有一个名为rbd的存储池，其编号为0
[root@node1 ceph-cluster]# ceph osd lspools
0 rbd,
# 查看存储池大小
[root@node1 ceph-cluster]# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
92093M 91889M 203M 0.22
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
rbd 0 16 0 30629M 0
# 查看存储池rbd存储数据时，保存的副本数量
[root@node1 ceph-cluster]# ceph osd pool get rbd size
size: 3
# 在默认存储池中，创建一个名为demo-image大小为10G的镜像，提供给客户端使用
# 镜像相当于逻辑卷管理中的lv
[root@node1 ceph-cluster]# rbd create demo-image --size 10G
# 查看默认存储池中的镜像
[root@node1 ceph-cluster]# rbd list
demo-image
# 查看demo-image的详细信息
[root@node1 ceph-cluster]# rbd info demo-image
rbd image 'demo-image':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.1035238e1f29
format: 2
features: layering
flags:
# 扩容
[root@node1 ceph-cluster]# rbd resize --size 15G demo-image
Resizing image: 100% complete...done.
[root@node1 ceph-cluster]# rbd info demo-image
rbd image 'demo-image':
size 15360 MB in 3840 objects
# 缩减
[root@node1 ceph-cluster]# rbd resize --size 7G demo-image --allow-shrink
[root@node1 ceph-cluster]# rbd info demo-image
rbd image 'demo-image':
size 7168 MB in 1792 objects
客户端使用块设备
- 怎么用？装软件
- ceph集群在哪？通过配置文件说明集群地址
- 权限。keyring文件
# 安装ceph客户端软件
[root@client1 ~]# yum install -y ceph-common
# 将配置文件和密钥keyring文件拷贝给客户端
[root@node1 ceph-cluster]# scp /etc/ceph/ceph.conf 192.168.88.10:/etc/ceph/
[root@node1 ceph-cluster]# scp /etc/ceph/ceph.client.admin.keyring 192.168.88.10:/etc/ceph/
# 客户端查看镜像
[root@client1 ~]# rbd list
demo-image
# 将ceph提供的镜像映射到本地
[root@client1 ~]# rbd map demo-image
/dev/rbd0
[root@client1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
rbd0 252:0 0 7G 0 disk # 多了一块7GB的硬盘
[root@client1 ~]# ls /dev/rbd0
/dev/rbd0
# 查看映射
[root@client1 ~]# rbd showmapped
id pool image snap device
0 rbd demo-image - /dev/rbd0
# 使用
[root@client1 ~]# mkfs.xfs /dev/rbd0
[root@client1 ~]# mount /dev/rbd0 /mnt/
[root@client1 ~]# df -h /mnt/
文件系统 容量 已用 可用 已用% 挂载点
/dev/rbd0 7.0G 33M 7.0G 1% /mnt
查看子命令的帮助：
[root@client1 ~]# rbd help create # 查看rbd子命令create的帮助
day04
文章目录
块存储
# 查看块设备映射信息
[root@client1 ~]# rbd showmapped
id pool image snap device
0 rbd demo-image - /dev/rbd0
[root@client1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
rbd0 252:0 0 7G 0 disk /mnt
# 停用设备
[root@client1 ~]# umount /mnt/
[root@client1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
rbd0 252:0 0 7G 0 disk # 已经卸载
[root@client1 ~]# rbd unmap /dev/rbd0 // unmap取消映射，/dev/rbd0也可以写镜像名称
[root@client1 ~]# lsblk # /dev/rbd0消失
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 30G 0 disk
└─vda1 253:1 0 30G 0 part /
[root@client1 ~]# rbd rm mying6 // 删除镜像
快照
- 快照可以保存某一时间点时的状态数据
- 希望回到以前的一个状态，可以恢复快照
# 新建名为img1的镜像
[root@node1 ~]# rbd create img1 --size 10G
[root@client1 ~]# rbd list # 查看镜像名
# 映射为本地硬盘
[root@client1 ~]# rbd map img1
/dev/rbd0
# 格式化后挂载
[root@client1 ~]# mkfs.ext4 /dev/rbd0
[root@client1 ~]# mount /dev/rbd0 /mnt
[root@client ~]# cp /etc/hosts /mnt/
[root@client ~]# ls /mnt/
hosts lost+found
# 查看img1的快照
[root@node1 ~]# rbd snap ls img1
# 为img1创建名为img1-snap1的快照。
[root@node1 ~]# rbd snap create img1 --snap img1-snap1
[root@node1 ~]# rbd snap ls img1 # 查看镜像的快照
SNAPID NAME SIZE
6 img1-snap1 10240 MB
# 删除快照
[root@node1 ~]# rbd snap remove img1 --snap img1-snap1
# 删除镜像，删除前需要在客户端卸载它
[root@client1 ~]# umount /mnt
[root@client1 ~]# rbd unmap /dev/rbd0
[root@node1 ~]# rbd rm img1
- 使用镜像、快照综合示例
# 1. 在rbd存储池中创建10GB的镜像，名为img1
[root@node1 ~]# rbd --help # 查看子命令
[root@node1 ~]# rbd help create # 查看子命令create的帮助
[root@node1 ~]# rbd create img1 --size 10G
[root@node1 ~]# rbd list
img1
[root@node1 ~]# rbd info img1
rbd image 'img1':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.1061238e1f29
format: 2
features: layering
flags:
# 2. 在客户端使用镜像img1，将其挂载到/mnt
[root@client1 ~]# rbd list
img1
[root@client1 ~]# rbd map img1
/dev/rbd0
[root@client1 ~]# mkfs.xfs /dev/rbd0
[root@client1 ~]# mount /dev/rbd0 /mnt/
[root@client1 ~]# rbd showmapped
id pool image snap device
0 rbd img1 - /dev/rbd0
[root@client1 ~]# df -h /mnt/
文件系统 容量 已用 可用 已用% 挂载点
/dev/rbd0 10G 33M 10G 1% /mnt
# 3. 向/mnt中写入数据
[root@client1 ~]# cp /etc/hosts /mnt/
[root@client1 ~]# cp /etc/passwd /mnt/
[root@client1 ~]# ls /mnt/
hosts passwd
# 4. 创建img1的快照，名为img1-sn1
[root@node1 ~]# rbd snap create img1 --snap img1-sn1
[root@node1 ~]# rbd snap ls img1
SNAPID NAME SIZE
8 img1-sn1 10240 MB
# 5. 删除/mnt/中的数据
[root@client1 ~]# rm -f /mnt/*
# 6. 通过快照还原数据
[root@client1 ~]# umount /mnt/
[root@client1 ~]# rbd unmap /dev/rbd0
[root@node1 ~]# rbd help snap rollback # 查看子命令帮助
# 回滚img1到快照img1-sn1
[root@node1 ~]# rbd snap rollback img1 --snap img1-sn1
# 重新挂载
[root@client1 ~]# rbd map img1
/dev/rbd0
[root@client1 ~]# mount /dev/rbd0 /mnt/
[root@client1 ~]# ls /mnt/ # 数据还原完成
hosts passwd
- 保护快照，防止删除
[root@node1 ~]# rbd help snap protect
# 保护镜像img1的快照img1-sn1
[root@node1 ~]# rbd snap protect img1 --snap img1-sn1
[root@node1 ~]# rbd snap rm img1 --snap img1-sn1 # 不能删
# 取消镜像img1的快照img1-sn1保护
[root@node1 ~]# rbd snap unprotect img1 --snap img1-sn1
快照克隆
- 不能将一个镜像同时挂载到多个节点，如果这样操作，将会损坏数据
- 如果希望不同的节点，拥有完全相同的数据盘，可以使用克隆技术
- 克隆是基于快照的，不能直接对镜像克隆
- 快照必须是受保护的快照，才能克隆
- 克隆流程
- 给多个客户端生成数据相同的数据盘
# 1. 创建名为img2的镜像，大小10GB
[root@node1 ~]# rbd create img2 --size 10G
# 2. 向镜像中写入数据
[root@node1 ~]# rbd map img2
/dev/rbd0
[root@node1 ~]# mkfs.xfs /dev/rbd0
[root@node1 ~]# mount /dev/rbd0 /mnt/
[root@node1 ~]# for i in {1..20}
> do
> echo "Hello World $i" > /mnt/file$i.txt
> done
[root@node1 ~]# ls /mnt/
file10.txt file15.txt file1.txt file5.txt
file11.txt file16.txt file20.txt file6.txt
file12.txt file17.txt file2.txt file7.txt
file13.txt file18.txt file3.txt file8.txt
file14.txt file19.txt file4.txt file9.txt
# 3. 卸载镜像
[root@node1 ~]# umount /mnt/
[root@node1 ~]# rbd unmap /dev/rbd0
# 4. 为img2创建名为img2-sn1快照
[root@node1 ~]# rbd snap create img2 --snap img2-sn1
# 5. 保护img2-sn1快照
[root@node1 ~]# rbd snap protect img2 --snap img2-sn1
# 6. 通过受保护的快照img2-sn1创建克隆镜像
[root@node1 ~]# rbd clone img2 --snap img2-sn1 img2-sn1-1 --image-feature layering
[root@node1 ~]# rbd clone img2 --snap img2-sn1 img2-sn1-2 --image-feature layering
# 7. 查看创建出来的、克隆的镜像
[root@node1 ~]# rbd list
img1
img2
img2-sn1-1
img2-sn1-2
# 8. 不同的客户端挂载不同的克隆镜像，看到的是相同的数据
[root@client1 ~]# rbd map img2-sn1-1
/dev/rbd1
[root@client1 ~]# mkdir /data
[root@client1 ~]# mount /dev/rbd1 /data
[root@client1 ~]# ls /data
file10.txt file15.txt file1.txt file5.txt
file11.txt file16.txt file20.txt file6.txt
file12.txt file17.txt file2.txt file7.txt
file13.txt file18.txt file3.txt file8.txt
file14.txt file19.txt file4.txt file9.txt
- 查询镜像和快照
# 查看快照信息
[root@node1 ~]# rbd info img2 --snap img2-sn1
rbd image 'img2':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.107a238e1f29
format: 2
features: layering
flags:
protected: True # 受保护
# 查看克隆的快照
[root@node1 ~]# rbd info img2-sn1-2
rbd image 'img2-sn1-2':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.10842eb141f2
format: 2
features: layering
flags:
parent: rbd/img2@img2-sn1 # 父对象是rbd池中img2镜像的img2-sn1快照
overlap: 10240 MB
- 合并父子镜像
- img2-sn1-2是基于img2的快照克隆来的，不能独立使用。
- 如果父镜像删除了，子镜像也无法使用。
- 将父镜像内容合并到子镜像中，子镜像就可以独立使用了。
# 把img2的数据合并到子镜像img2-sn1-2中
[root@node1 ~]# rbd flatten img2-sn1-2
# 查看状态，它就没有父镜像了
[root@node1 ~]# rbd info img2-sn1-2
rbd image 'img2-sn1-2':
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.10842eb141f2
format: 2
features: layering
flags:
# 删除父镜像，如果镜像正在被使用，则先取消
（取消镜像使用、取消挂载、取消保护、删除快照、删除子镜像、删除父镜像）
[root@client1 ~]# rbd children img2 --snap img2-sn1 // 查看img2-sn1镜像下的子镜像
rbd/img2-sn1-1
[root@client1 ~]# rbd status img2-sn1-1 // 查看谁在使用img2-sn1-1
Watchers:
watcher=192.168.88.10:0/3270271546 client.24114 cookie=18446462598732840967
[root@client ~]# umount /data/
[root@client ~]# rbd unmap /dev/rbd1
# 1. 删除镜像img2-sn1-1
[root@node1 ~]# rbd rm img2-sn1-1
# 2. 取消img2-sn1的保护
[root@node1 ~]# rbd snap unprotect img2 --snap img2-sn1
# 3. 删除img2-sn1快照
[root@node1 ~]# rbd snap rm img2 --snap img2-sn1
# 4. 删除img2
[root@node1 ~]# rbd rm img2
# 因为img2-sn1-2已经是独立的镜像了，所以它还可以使用
[root@client1 ~]# rbd list
img1
img2-sn1-2
[root@client1 ~]# rbd map img2-sn1-2
/dev/rbd1
[root@client1 ~]# mount /dev/rbd1 /data/
[root@client1 ~]# ls /data/
file10.txt file15.txt file1.txt file5.txt
file11.txt file16.txt file20.txt file6.txt
file12.txt file17.txt file2.txt file7.txt
file13.txt file18.txt file3.txt file8.txt
file14.txt file19.txt file4.txt file9.txt
[root@client1 ~]# rbd cp myima1 myimg2 // 复制镜像
ceph文件系统
- 文件系统：相当于是组织数据存储的方式。
- 格式化时，就是在为存储创建文件系统。
- Linux对ceph有很好的支持，可以把ceph文件系统直接挂载到本地。
- 要想实现文件系统的数据存储方式，需要有MDS组件
- 安装并启用mds
# 在node3节点上安装MDS
[root@node1 ~]# ssh node3
[root@node3 ~]# yum install -y ceph-mds
# 在node1配置MDS
[root@node1 ~]# cd ceph-cluster/
[root@node1 ceph-cluster]# ceph-deploy mds create node3
使用MDS
- 元数据就是描述数据的属性。如属主、属组、权限等。
- ceph文件系统中，数据和元数据是分开存储的
- 新建存储池
- 归置组PG：存储池包含PG。PG是一个容器，用于存储数据。
- 为了管理方便，将数量众多的数据放到不同的PG中管理，而不是直接把所有的数据扁平化存放。
- 通常一个存储池中创建100个PG。
- 创建ceph文件系统
# 1. 新建一个名为data1的存储池，目的是存储数据，有100个PG
[root@node1 ceph-cluster]# ceph osd pool create data1 100
# 2. 新建一个名为metadata1的存储池，目的是存储元数据
[root@node1 ceph-cluster]# ceph osd pool create metadata1 100
# 3. 创建名为myfs1的cephfs，数据保存到data1中，元数据保存到metadata1中
[root@node1 ceph-cluster]# ceph fs new myfs1 metadata1 data1
# 查看存储池
[root@node1 ceph-cluster]# ceph osd lspools
0 rbd,1 data1,2 metadata1,
[root@node1 ceph-cluster]# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
92093M 91574M 519M 0.56
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
rbd 0 86469k 0.28 30488M 2606
data1 1 0 0 30488M 0
metadata1 2 2068 0 30488M 20
# 查看文件系统
[root@node1 ~]# ceph fs ls
name: myfs1, metadata pool: metadata1, data pools: [data1 ]
# 查看文件元数据信息
[root@client1 ~]# stat /etc/hosts
文件："/etc/hosts"
大小：244 块：8 IO 块：4096 普通文件
设备：fd01h/64769d Inode：12341 硬链接：1
权限：(0644/-rw-r--r--) Uid：( 0/ root) Gid：( 0/ root)
最近访问：2023-04-10 20:40:47.960998283 +0800
最近更改：2023-04-10 20:06:32.302403843 +0800
最近改动：2023-04-10 20:06:32.302403843 +0800
创建时间：-
- 客户端使用cephfs
# 挂载文件系统需要密码。查看密码
[root@client1 ~]# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
key = AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ==
# -t 指定文件系统类型。-o是选项，提供用户名和密码
# cephfs的端口号默认是6789
[root@client1 ~]# mkdir /mydata
[root@client1 ~]# mount -t ceph -o name=admin,secret=AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ== 192.168.88.13:6789:/ /mydata
[root@client1 ~]# df -h /mydata
文件系统 容量 已用 可用 已用% 挂载点
192.168.88.13:6789:/ 90G 520M 90G 1% /mydata
# 实现高可用
[root@client1 ~]# cp /etc/hosts /mydata/
[root@node3 ~]# shutdown -h now //关掉node3，制造故障
[root@client1 ~]# cp /etc/passwd /mydata/ // 操作会卡住，一直停在加载中
[root@client1 ~]# ceph-deploy mds create node2 //给node2部署mds
[root@client1 ~]# ls /mydata/ //拷贝继续执行且成功
hosts passwd
对象存储
- 需要专门的客户端访问
- 键值对存储方式
- 对象存储需要rgw组件
- 安装部署
[root@node1 ceph-cluster]# ssh node3
[root@node3 ~]# yum install -y ceph-radosgw
[root@node1 ~]# cd ceph-cluster/
[root@node1 ceph-cluster]# ceph-deploy rgw create node3
- 客户端使用：http://docs.ceph.org.cn/radosgw/s3/python/
监控前两天用到的主机：
| 主机名 | IP地址 |
|---|---|
| zabbixserver | 192.168.88.5 |
| web1 | 192.168.88.100 |
| web2 | 192.168.88.200 |
配置yum，关防火墙和selinux
扫一扫
2813
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
