综合架构

最新推荐文章于 2021-11-07 14:42:08 发布

置顶卍溪卍

最新推荐文章于 2021-11-07 14:42:08 发布

阅读量415

点赞数

分类专栏：综合架构文章标签：综合架构

本文链接：https://blog.csdn.net/Lxxhard/article/details/103297503

版权

综合架构专栏收录该内容

1 篇文章 0 订阅

订阅专栏

架构介绍

1.架构基本术语
2.已知架构模型分析
3.未知架构模型分析
4.架构的访问流程–>用户视角
5.架构的维护流程—>运维视角（安全、监控、日志、自动化配置、自动化上线）
6.架构的运行环境—>运维视角
7.架构的产品开发流程–>开发视角
8.架构对应的工具与IP地址规划
在这里插入图片描述

Rsync备份服务器(备份服务器配置)

介绍

1.什么是备份?
	指 对一个文件创建一个副本
	
2.为什么要做备份?
	数据重要
	保证数据安全
	快速恢复数据

3.能不能不做备份?
	可以, 因为数据不重要,可不考虑.
	
4.备份应该怎么做?
	增量:  效率高, 耗时低, 占用空间小
	全量:  效率低, 耗时长, 占用空间大

5.备份使用什么工具?
	cp		本地备份
	scp		远程拷贝, 全量备份  
	rsync	远程同步, 全量和增量备份

6.备份工具rsync基本介绍?
	远程同步工具,  支持不同主机系统之间同步.  (windows linux mac)
	并且能实现,全量与增量的同步方式
		rsync    C/S 架构     客户端--->服务端
		rsync 	 873/tcp

7.rsync备份工具应用几种场景?
	1.推
		客户端推送数据至服务端
		电脑--->云盘
	
	2.拉
		客户端拉取服务上的数据
		电脑  <---- 云盘
	3.异地备份

8.rsync三大传输模式

本地传输
		远程传输		A ---> B    A  < --- B
		守护进程
	# yum install rsync -y

本地传输 (类似使用cp)

文件

[root@backup ~]# rsync -avz/lxx/lxx.txt /tmp/

[root@backup ~]# rsync -avz /etc/ /tmp/

注意: 每次拷贝都是增量
1.如果有新增, 拷贝新增
2.如果修改历史拷贝过的文件, 则同步修改后的文件

远程传输(类似于scp,基于ssh协议)

下载 Pull: rsync [OPTION…] [USER@]HOST:SRC… [DEST]
下载31服务器上/root/31.txt文件,至本地的当前目录,使用31的root身份

 [root@backup ~]# rsync -avz root@172.16.1.31:/root/31.txt ./

注意: 加/ 和不加/
加/ : 会下载这个目录下的所有内容至本地
不加/: 下载目录,以及目录下的所有内容至本地

[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test/ ./
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test ./

推送本地的文件或目录,至远程主机31的/opt目录下,使用的是31的root身份
推送 Push: rsync [OPTION…] SRC… [USER@]HOST:DEST

[root@backup ~]# rsync -avz ./41.txt root@172.16.1.31:/opt/
[root@backup ~]# rsync -avz ./etc_test root@172.16.1.31:/opt/

缺陷:
使用ssh协议
1.权限过高不安全
2.权限太低,无法推送

守护进程(以服务的方式运行在后台)

	1.安装

[root@backup ~]# yum install rsync -y

    2.配置

[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd

#配置详解

[root@backup ~]# vim /etc/rsyncd.conf
			uid = rsync                      # 运行进程的用户
			gid = rsync                      # 运行进程的用户组
			port = 873                       # 监听端口
			fake super = yes                 # 不需要rsync已root身份运行，就可以存储文件的完整属性
			use chroot = no                  # 禁锢推送的数据至某个目录, 不允许跳出该目录
			max connections = 200            # 最大连接数
			timeout = 600                    # 超时时间
			ignore errors                    # 忽略错误信息
			read only = false                # 对备份数据可读写
			list = false                     # 不允许查看模块信息
			auth users = rsync_backup        # 定义虚拟用户，作为连接认证用户
			secrets file = /etc/rsync.passwd # 定义rsync服务用户连接认证密码文件路径

			[backup]                		# 定义模块信息
			path = /backup         		 	# 定义接收备份数据目录

    3.根据配置要做如下操作:
    
    1)创建进程运行的用户

[root@backup ~]# useradd rsync -M -s /sbin/nologin
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)

   2)创建虚拟用户以及虚拟用户的密码/etc/rsync.passwd
   
   格式: Username:Password

[root@backup ~]# cat /etc/rsync.passwd 
rsync_backup:1
[root@backup ~]# chmod 600 /etc/rsync.passwd

   3)创建一个接收备份数据目录

[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/

   4)启动

[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

   5)检查

[root@backup ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      22463/rsync

   6)测试
   #将本地的某个文件,推送到服务端backup目录,使用的是虚拟的用户名和密码
   Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

[root@nfs01 ~]# rsync -avz 31.txt rsync_backup@172.16.1.41::backup

   Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

[root@nfs01 ~]# rsync -avz  rsync_backup@172.16.1.41::backup ./

注: 进程能够以什么样的方式去访问一个文件, 取决于运行该进程的用户身份,对这个文件拥有什么权限

rsync作为服务端一些选项和作用

-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序 -e ‘ssh’
–exclude=PATTERN #指定排除不需要传输的文件模式
–exclude-from=file #文件名所在的目录文件
–bwlimit=100 #限速传输
–partial #断点续传
–delete #让目标目录和源目录数据保持一致

1.显示传输的每s的速率

[root@nfs01 ~]# dd if=/dev/zero of=./size_file bs=1M count=300
[root@nfs01 ~]# rsync -avzP size_file  rsync_backup@172.16.1.41::backup 
sending incremental file list
size_file
314,572,800 100%   81.20MB/s    0:00:03 (xfr#1, to-chk=0/1)

2.限速,非常重要
--bwlimit限速 (默认单位为兆  -->  兆  换算为带宽  * 8)

[root@nfs01 ~]# rsync -avzP --bwlimit=10 size_1G  rsync_backup@172.16.1.41::backup
....
566,394,880  54%   10.12MB/s    0:00:46

3.--delete 强制同步
1)在推送时添加--delete, 强制让服务端与客户端保持一致
2)在拉取时添加--delete, 强制让客户端与服务端保持一致 

4.--exclude   --exclude-from   排除
1)重要的不希望别人看见
2)文件太大,无法移动
排除单个文件或多个文件

# rsync -avz --exclude=origin/all.txt ./origin  rsync_backup@172.16.1.41::backup 
# rsync -avz --exclude=origin/3.txt --exclude=origin/all.txt ./origin  rsync_backup@172.16.1.41::backup

排除多个文件 (  准备一个文件, 将要排除的内容写入文件中, 最后指定排除的文件即可)=

[root@nfs01 ~]# cat pc.txt 
origin/5.txt
origin/8.txt
origin/9.txt
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt  ./origin  rsync_backup@172.16.1.41::backup

5.免交互
1)选项 --password-file=
2)设定环境变量
第一种方式:

[root@nfs01 ~]# echo "1" > /etc/rsync.pass
[root@nfs01 ~]# chmod 600 /etc/rsync.pass 
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt  ./origin  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass

第二种方式:

[root@nfs01 ~]# export RSYNC_PASSWORD=1
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt  ./origin  rsync_backup@172.16.1.41::backup

总结

备份基础知识

		1.什么是备份?
		2.为什么要备份?
		3.备份的分类?
			数据备份
			系统备份
		4.备份的方式?
			全量备份	效率低, 占用空间高
			增量备份	效率高, 占用空间低
		5.备份的工具?
			rsync	远程同步
			scp		远程拷贝
			cp		本地拷贝
	2.介绍rsync
		远程同步工具, 能够实现不同主机系统之间的同步
		C/S架构    服务端  客户端
		B/S架构    服务端  浏览器
	3.rsync工作模式
		推   push
		拉   pull
		
		异地方式
	
	4.rsync传输模式
		本地传输
		远程传输		A ---> B    A  < --- B
		守护进程
	
	5.守护进程
		1.安装
		2.配置
			2.1 根据配置初始化系统
		3.启动
		4.检查
			端口
			进程
		5.测试
	6.选项
		--delete
		--exclude  --exclude-from
		--bwlimit
		--password-file   |  export RSYNC_PASSWORD
	7.整个实现流程?
		1.客户端
		2.系统用户
		3.虚拟用户
		4.备份目录

rsync备份案例

 已知3台服务器主机名分别为web01、backup 、nfs主机信息见下表:
 角色	外网IP(NAT)				内网IP(LAN)			主机名
 WEB		eth0:10.0.0.7			eth1:172.16.1.7		web01
 NFS		eth0:10.0.0.31			eth1:172.16.1.31	nfs01
 Rsync	eth0:10.0.0.41			eth1:172.16.1.41	backup

客户端需求
1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间
5.客户端每天凌晨1点定时执行该脚本

服务端需求
1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员 (邮件)
4.服务端仅保留6个月的备份数据,其余的全部删除 flag

注意：所有服务器的备份目录必须都为/backup

配置发件人方式: 测试邮箱: 发件人----> 收件人发消息

[root@backup ~]# yum install mailx -y
[root@backup ~]# vim /etc/mail.rc			#最后一行添加
	set from=572891887@qq.com
	set smtp=smtps://smtp.qq.com:465
	set smtp-auth-user=572891887@qq.com
	set smtp-auth-password=#授权码
	set smtp-auth=login
	set ssl-verify=ignore
	set nss-config-dir=/etc/pki/nssdb/

客户端脚本:

[root@nfs01 ~]# cat /scripts/client_push_data_server.sh 
#!/usr/bin/bash
# 以一个固定的字符串表示一个不固定的值
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 | awk '/inet / { print $2 }')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}

#1.创建对应的备份目录
[ -d $Dest ] ||  mkdir -p  $Dest

#2.拷贝需要备份文件至目录
cd / && \
[ -f $Dest/sys.tar.gz ] || tar czf $Dest/sys.tar.gz  etc/passwd etc/fstab  etc/hosts && \
[ -f $Dest/other.tar.gz ] || tar czf $Dest/other.tar.gz var/spool/cron scripts

#3.添加标记
[ -f $Dest/flag_${Date} ] ||  md5sum $Dest/*.tar.gz > $Dest/flag_${Date}

服务端脚本:

[root@backup ~]# cat /scripts/check_data_notify.sh 
#!/usr/bin/bash

Path=/backup
Date=$(date +%F)
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin


#1.校验推送过来的flag
md5sum -c $Path/*/flag_${Date}  > $Path/result_${Date}

#2.通知管理人员结果
mail -s "Rsync Backup ${Date}" "123@qq.com" <$Path/result_${Date}

定时任务测试:
客户端每天凌晨1点执行

[root@nfs01 ~]# crontab -l
00 01 * * * sh /scripts/client_push_data_server.sh &>/dev/null

服务端每天凌晨5点校验

[root@backup ~]# crontab -l
00 05 * * * sh /scripts/check_data_notify.sh & >/dev/null

如果新增加一条机器怎么办?

[root@web01 ~]# rsync -avz 172.16.1.31:/scripts /

NFS存储服务器

介绍

1.什么是nfs?
	network file system  网络文件系统.

2.nfs能干什么?
	实现不同主机系统之间的共享   linux  windows  macos

3.为什么要使用nfs?
	1.使用在集群架构中
		
4.nfs能解决什么问题？
	1.资源共享
	2.资源一致性
	3.解决磁盘空间

5.使用nfs的注意事项?
	1.增加NFS不能加速网站的访问,只会带来更高的网络延时
	2.CDN内容分发网络   (加速网站静态资源)   图片 视频  附件 pdf word 听听就行 
		2.用户 -->静态--->CDN  --> 1级代理---> 源站
		2.上传图片至存储-->定时-->推送-->1级代理-->

6.nfs实现的原理解析?

本地文件操作方式
1.当用户执行mkdir命令，BashShell无法完成该命令操作，会将其翻译给内核。
2.Kernel内核解析完成后会驱动对应的磁盘设备，完成创建目录的操作。

NFS实现原理(需要先了解[程序|进程|线程])
1.NFS客户端执行增、删等操作，客户端会使用不同的函数对该操作进行封装。
2.NFS客户端会通过TCP/IP的方式传递给NFS服务端。
3.NFS服务端接收到请求后，会先调用portmap进程进行端口映射。
4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
5.Rpc.mount进程判断客户端是否有对应的权限进行验证。
6.idmap进程实现用户映射和压缩。
7.最后NFS服务端会将客户端的函数转换为本地能执行的命令，然后将命令传递至内核，由内核驱动硬件。

注意: rpc是一个远程过程调用，那么使用nfs必须有rpc服务

在这里插入图片描述

安装

[root@nfs01 ~]# yum install nfs-utils -y

配置

1.要共享什么?  	/data
2.共享给谁?		172.16.1.0 网段
3.共享的权限?	    读写

[root@nfs01 ~]# cat /etc/exports
/data 172.16.1.0/24(rw)

根据配置创建目录

[root@nfs01 ~]# mkdir /data
[root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data/

启动

[root@nfs01 ~]# systemctl start nfs
[root@nfs01 ~]# systemctl enable nfs

客户端测试

[root@web01 ~]# yum install nfs-utils -y
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt

nfs 参数

rw*					读写权限
ro					只读权限
root_squash			当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash		当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
no_all_squash		无论NFS客户端使用什么账户访问，都不进行压缩 (云计算)

sync*				同时将数据写入到内存与硬盘中，保证不丢失数据
async				优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据

all_squash			无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
anonuid*			配置all_squash使用,指定NFS的用户UID,必须存在系统
anongid*			配置all_squash使用,指定NFS的用户UID,必须存在系统

all_squash anonuid anongid

[root@nfs01 data]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
	
[root@nfs01 data]# groupadd -g 666 www
[root@nfs01 data]# useradd -u666 -g666 www
[root@nfs01 ~]# chown -R www.www /data/
[root@nfs01 ~]# systemctl restart nfs

为了避免后期使用时,造成权限不一致的情况

[root@web01 mnt]# groupadd -g 666 www
[root@web01 mnt]# useradd -u666 -g666 www

NFS存储优点

1.NFS简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2.NFS的数据都在文件系统之上，所有数据都是能看得见。

NFS存储局限

1.存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup
	glusterfs 
2.NFS数据都是明文， 并不对数据做任何校验，也没有密码验证(强烈建议内网使用)。

NFS应用建议

1.生产场景应将静态数据(jpg\png\mp4\avi\css\js)尽可能放置CDN场景进行环境, 以此来减少后端存储压力
2.如果没有缓存或架构、代码等，本身历史遗留问题太大，在多存储也没意义
存储不能带来性能上的提升

sersync实时同步

实时同步

1.什么是实时同步
		百度云同步盘   金山云盘    腾讯文档   
		实时监测目录的变化,  当出现 增 删 改 时,  则触发一个动作, 这个动作就是推送至远程服务器
2.为什么要实时同步
		1)解决NFS单点故障问题
		2)迁移   ( 本地环境 --> 云环境 )
	
3.实时同步的原理
4.实时同步的场景
5.实时同步工具选择	
		rsync+inotify		复杂
		sersync				二进制包,解压即用   ( 国人开发 )
		lsyncd				将sersync替换为lsyncd

实时同步案例

准备NFS共享存储

[root@nfs01 ~]# yum install nfs-utils -y
[root@nfs01 ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@nfs01 ~]# groupadd -g 666 www
[root@nfs01 ~]# useradd -u666 -g666 www
[root@nfs01 ~]# mkdir -p /data
[root@nfs01 ~]# chown www.www /data
[root@nfs01 ~]# systemctl restart nfs

准备web站点程序 php编写 httpd php

[root@web01 ~]# yum install httpd php php-mbstring php-gd -y
[root@web01 ~]# groupadd -g666 www
[root@web01 ~]# useradd -u666 -g666 www

#修改httpd以www用户身份运行

[root@web01 ~]# sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf 
[root@web01 ~]# sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf

#进入站点目录,下载代码,授权整个/var/www/html目录为www (httpd程序就可以通过www身份读取所有代码)

[root@web01 ~]# cd /var/www/html				#默认网站代码存放的路径
[root@web01 html]# wget http://static.kodcloud.com/update/download/kodexplorer4.40.zip
[root@web01 html]# unzip kodexplorer4.40.zip
[root@web01 html]# chown -R www.www /var/www/html
[root@web01 ~]# systemctl restart httpd

将用户写入web主机上的视频类资源,自动的写入至NFS存储.
#登录admin管理员,然后创建了一个video目录

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/video/

接入sersync实时同步工具, 同步NFS数据至备份服务器的data模块

1.安装

[root@nfs01 ~]# unzip sersync_installdir_64bit.zip 
[root@nfs01 ~]# mv sersync_installdir_64bit/sersync/ /usr/local/

2.配置

......
[root@nfs01 ~]# chmod +x /usr/local/sersync/bin/sersync

3.启动

[root@nfs01 ~]# /usr/local/sersync/bin/sersync -rdo /usr/local/sersync/conf/confxml.xml

增加一个web节点
…安装步骤略过…

[root@web02 ~]# yum install nfs-utils -y
[root@web02 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/video/

模拟nfs服务器故障,如何快速切换.
在backup服务器搭建一个nfs ( 不使用 ,等有故障时能正常切换使用 )

[root@backup ~]# yum install nfs-utils -y
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# groupadd -g666 www
[root@backup ~]# useradd -u666 -g666 www
[root@backup ~]# chown -R www.www /data/

修改rsync的权限为www

[root@backup ~]# head -2 /etc/rsyncd.conf 
	uid = www
	gid = www
[root@backup ~]# chown -R www.www /backup/

重启服务

[root@backup ~]# systemctl restart rsyncd nfs

在这里插入图片描述

lsyncd

简介

Lsyncd使用文件系统事件接口（inotify或fsevents）来监视对本地文件和目录的更改。Lsyncd将这些事件整理几秒钟，然后生成一个或多个进程以将更改同步到远程文件系统。默认同步方法是rsync
Lsyncd是一种轻量级的实时镜像解决方案。Lsyncd相对容易安装，不需要新的文件系统或块设备。Lysncd不会妨碍本地文件系统性能
可以通过配置文件实现细粒度的自定义。自定义操作配置甚至可以从头开始编写，从shell脚本到用Lua语言编写的代码

版本要求

Lsyncd 2.2.1要求所有源和目标计算机上的rsync> = 3.1

安装

lsyncd 在 epel源中
yum install lsyncd

配置

配置文件说明 /etc/lsyncd.conf
lsyncd配置文件使用lua语法编写

settings {
 logfile = "/var/log/lsyncd/lsyncd.log",
 statusFile = "/var/log/lsyncd/lsyncd.status",
 inotifyMode = "CloseWrite",
 maxProcesses = 8,
}
sync {
 default.rsync,
 source = "/data",
 target = "rsync_backup@backup::backup",
 delete= true,
 exclude = { ".*" },
 delay = 1,
rsync = {
 binary = "/usr/bin/rsync",
 archive = true,
 compress = true,
 verbose = true,
 password_file = "/etc/rsync.pwd",
 _extra = {"--bwlimit=200"}
}
}