运维SRE-10 综合架构

概述

阶段	主要内容	核心目标
第1阶段	1、Linux必备技能 2、Linux命令 3、Linux排障基础思维（常见错误提示及含义 4、其他工具，服务使用	技术点，命令，排障，基本服务，三剑客，正则表达式
第2阶段-集群架构阶段	1、掌握网站架构 2、相关服务：备份、同步、存储、管理、监控、web、Nginx、Tomcat、python\Golang、springboot 3、排障进阶（分析与解决）	掌握网站架构， 各种服务应用，排障进阶
第3阶段-自动化阶段	1、shell编程 2、代码上线 3、云架构 4、zabbix	Shell编程，代码上线，云架构
第4阶段-容器	1、Docker k8s promethus ceph grafana ELK/EBLK springcloud	Docker k8s
第5阶段-安全	入侵检测、系统加固、漏扫、应急响应	安全项目
第6阶段-数据库	mysql redis	数据库
第7个阶段-就业	贯串全程。

综合架构

第1阶段都是1台机器.
第2阶段是网站集群架构,一个网站背后的多台机器(几十台,几百台,上千台,万台).
网站集群架构: 一些网站(app,网站,小程序)背后架构与结构.

开发人员角度

网站的开发人员角度????
开发人员书写代码---->存放到Linux中(服务器)

用户人员角度

用户角度

架构总览

技术栈

• 网站架构常用的技术栈(常用技术/服务)

层次	技术点与服务
第1层：DNS,CDN	(哪里买的域名在哪里做解析,)阿里云:云解析DNS国外: Godaddy
	CDN:网站加速云厂商：阿里云，腾讯云，华为云专做CDN：蓝汛
第2层：防火墙与负载均衡	开源软件：firewalld,iptables硬件：深信服，奇安信，绿盟…云防火墙：安全组…其他类型防火墙
	开源软件：Nginx,haproxy,lvs硬件：F5,a10…
第3层：web服务器(网站服务器)	web服务：nginx,tengine,apache,OpenResty网站架构：Linux Nginx Mysql PHP(LNMP P还可能是Python)LNMT(运行java代码 Tomcat)
第4层：数据与缓存	缓存：redis,memcache(旧),消息队列
	数据库：Mysql,Maraidb,oracle,Mongodb…
	存储：nfs,ceph,GFS,…DELL EMC存储,各种硬件厂商的存储设备…
	备份：定时任务，rsync备份服务
	实时备份：sersync,lsyncd

运维角度

在线思维导图-----processon

综合架构-备份服务-rsync

backup 10.0.0.41
nfs01 10.0.0.31

备份服务概述

1）概述

特点：
1.2台机器间传输数据
2.传输数据的时候，增量传输
3.有多种模式，本地，远程(命令)，守护进程模式(服务端与客户端模式)
4.传输的时候可以限速，排除某项

全量与增量
全量：无论多少数据都全部同步(传输)一次
增量：rsync软件对比，只传输变化(修改，新建)的数据

2）应用场景

1.定时备份场景：定时任务+rsync服务模式
2.实时同步:

rsync应用场景

急速上手指南

0）rsync命令选项

rsync选项
-a	复制目录，保持属性不变 -rlptgoD
-v	显示过程
-z	压缩
-p	显示速度
–bwlimit	限速 单位kb/s
–delete	删除目录中多余的内容，让它与源目录一模一样

1）环境

环境	IP地址
backup	10.0.0.41/172.16.1.41
nfs01	10.0.0.31/172.16.1.31

# 环境检查
[root@backup ~]# ping 10.0.0.31
PING 10.0.0.31 (10.0.0.31) 56(84) bytes of data.
64 bytes from 10.0.0.31: icmp_seq=1 ttl=64 time=0.405 ms
64 bytes from 10.0.0.31: icmp_seq=2 ttl=64 time=0.393 ms
64 bytes from 10.0.0.31: icmp_seq=3 ttl=64 time=0.424 ms
^C
--- 10.0.0.31 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.393/0.407/0.424/0.020 ms
[root@backup ~]# hostname
backup
[root@backup ~]# ping 172.16.1.31
PING 172.16.1.31 (172.16.1.31) 56(84) bytes of data.
64 bytes from 172.16.1.31: icmp_seq=1 ttl=64 time=0.429 ms
64 bytes from 172.16.1.31: icmp_seq=2 ttl=64 time=0.411 ms
64 bytes from 172.16.1.31: icmp_seq=3 ttl=64 time=0.292 ms
64 bytes from 172.16.1.31: icmp_seq=4 ttl=64 time=0.273 ms
^C
--- 172.16.1.31 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 0.273/0.351/0.429/0.070 ms

2）本地模式(了解)

# 复制文件
[root@backup ~]# rsync /etc/hosts /tmp/
[root@backup ~]# cat /tmp/
cat: /tmp/: 是一个目录
[root@backup ~]# cd /tmp/
[root@backup /tmp]# ll
总用量 4
-rw-r--r-- 1 root root 311 10月 12 12:39 hosts
drwx------ 3 root root  17 10月 12 12:21 systemd-private-fd0dff35ad9d402bbd3bebc3352fbd4c-chronyd.service-YIYUJx
drwx------ 2 root root   6 10月 12 12:21 vmware-root_1017-4248221863
drwx------ 2 root root   6 10月 12 12:16 vmware-root_929-3980167385
[root@backup /tmp]# cat hosts 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.5 lb01
172.16.1.6 lb02
172.16.1.7 web01
172.16.1.8 web02
172.16.1.9 web03
172.16.1.31 nfs01
172.16.1.41 backup
172.16.1.51 db01
172.16.1.61 m01
---------------------------------------------------
复制目录
rsync -a /etc/   /tmp/
查看目录内容
rsync   /etc/

# 注意：rsync中 /etc与/etc/区别
/etc 不加上目录结尾的斜线，表示目录和目录内容
/etc/ 加上目录结尾的斜线，表示目录内容

3）远程模式

两台之间互传数据
scp:全量。1次性
rsync:增量。

a）传输/etc/hosts到nfs服务器的/tmp目录 如果传输/etc目录呢？

rsync/scp
rsync 选项()	源	目标
scp 选项	源	目标
这里的源或目录都可以是ip地址路径

1.scp命令
# 传输文件
scp /etc/hosts root@10.0.0.31:/tmp/
# 传输目录
scp -r /etc root@10.0.0.31:/tmp/

2.rsync命令
# 传输文件(全量)
rsync /etc/hosts root@10.0.0.31:/tmp/
# 传输目录(增量)
rsync -av /etc root@10.0.0.31:/tmp/

b）推与拉

你当前连接与控制的是哪台机器.
你要的文件或目录在哪里: 本地,远端

把nfs01上的/etc/hostname 拉取到本地的/tmp目录下面
rsync root@10.0.0.31:/etc/hostname /tmp/

c）传输的时候对数据进程压缩 -z，传输的时候进行限速

-z -avz  #传输的时候对数据进行压缩.
--bwlimit #限速
rsync -av --bwlimit=100 /tmp/big root@10.0.0.31:/tmp

d）同步传输(源和目标内容一模一样)

源有，你没。不管。
源无，你有，删除。

--delete 慎用
主机之间互相访问:可以使用在/etc/hosts中配置的主机名,互相访问