运维SRE-12 存储服务

最新推荐文章于 2024-07-18 17:58:14 发布
最新推荐文章于 2024-07-18 17:58:14 发布
阅读量1k 收藏 30
点赞数 26
文章标签： 运维 linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Binbinhb/article/details/136238669
版权 
## 文件校验-md5

使用md5sum 对文件创建md5值,对方收到文件后进行校验并对比.
创建md5并自动对比
echo hbinz > hb.txt
md5sum hb > hb.md5
md5sum -c hb.md5

echo > hb.txt
md5sum -c hb.md5

昨日备份项目脚本修改

客户端：

#1.1 创建指纹
find /backup -type f -name "*.tar.gz" |xargs md5sum >/backup/$ip/$ip.md5

服务端：

#发送邮件
md5sum -c /backup/*/*.md5 |mailx -s '每日备份结果' 1542293291@qq.com

1.综合架构-第2个服务-存储服务

存储：一般用来存放用户上传的数据.eg：视频，图片，上传附件...头像..

1.1 为何要用存储

  • 如果不使用存储服务
  • 如果使用存储服务
如果没有共享存储如果没有共享存储服务器
用户上传的文件只会存放在某一台网站服务器上(web)
导致用户再次访问的时候可能失败
如果有共享存储如果使用共享存储
有web服务器只需要把存储挂载到本地
用户上传/下载/查看把数据写入到存储服务器中.

在这里插入图片描述

1.2 存储服务常用软件：

共享存储
硬件Dell EMC/华为/联想
开源NFS(网站文件系统)、Ceph(分布式存储)、GlusterFS(GFS)、FastDFS…
云服务器NAS(类似于NFS)、OSS(类似于Ceph)

NFS原理

1）核心原理
在这里插入图片描述

NFS服务端：
	RPC服务
	NFS服务
NFS客户端：
Mount命令挂载使用nfs服务端

2）扩展原理
在这里插入图片描述

快速上手指南

0）搭建概述
在这里插入图片描述

1）NFS服务端准备
a）部署rpc,nfs

1.部署nfs
yum install -y nfs-utils rpcbind

b) 启动rpc,nfs

systemctl enable rpcbind
systemctl start rpcbind

systemctl enable nfs
systemctl start nfs

rpcinfo -p

在这里插入图片描述

c）配置

vim /etc/exports
#共享/nfsdata/目录
/nfsdata 172.16.1.0/24(rw)
#172.16.1.0/24网段对 nfs服务端的/nfsdata目录 拥有读写权限
systemctl reload nfs
---------------------------------
Showmount-e是一个命令行工具，它可以用于查询NFS服务器上挂载的文件系统。它可以列出NFS服务器上所有已经导出的文件系统，以及它们的客户端信息。
----------------------------------
[root@nfs01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/nfsdata 172.16.1.0/24

d）创建共享目录，修改所有者

4. 创建共享目录,修改所有者
mkdir -p /nfsdata 
chown nfsnobody.nfsnobody   /nfsdata

***推荐使用优雅的重启,reload,不是所有服务都支持的.nfs,nginx.
服务要已经运行才能用reload.

e）本地挂载测试

mount -t nfs 172.16.1.31:/nfsdata /mnt/
df -h
[root@nfs01 /]# df -h
文件系统                                容量  已用  可用 已用% 挂载点
devtmpfs                                475M     0  475M    0% /dev
tmpfs                                   487M     0  487M    0% /dev/shm
tmpfs                                   487M  7.7M  479M    2% /run
tmpfs                                   487M     0  487M    0% /sys/fs/cgroup
/dev/mapper/centos_hb--sre--muban-root   17G  2.1G   15G   12% /
/dev/sda1                              1014M  138M  877M   14% /boot
tmpfs                                    98M     0   98M    0% /run/user/0
172.16.1.31:/nfsdata                     17G  2.1G   15G   12% /mnt

2）NFS客户端

yum -y install nfs-utils
mkdir -p /upload
mount -t nfs 172.16.1.31:/nfsdata /upload/
df -h
文件系统                                容量  已用  可用 已用% 挂载点
devtmpfs                                2.0G     0  2.0G    0% /dev
tmpfs                                   2.0G     0  2.0G    0% /dev/shm
tmpfs                                   2.0G   12M  2.0G    1% /run
tmpfs                                   2.0G     0  2.0G    0% /sys/fs/cgroup
/dev/mapper/centos_hb--sre--muban-root   17G  2.0G   15G   12% /
/dev/sda1                              1014M  138M  877M   14% /boot
tmpfs                                   394M     0  394M    0% /run/user/0
172.16.1.31:/nfsdata                     17G  2.1G   15G   12% /upload

a）测试

web01:
cd /upload
touch hb{01..10}.txt

nfs01:
cd /nfsdata
[root@nfs01 /nfsdata]# ll
总用量 0
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb01.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb02.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb03.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb04.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb05.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb06.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb07.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb08.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb09.txt
-rw-r--r-- 1 nfsnobody nfsnobody 0 10月 17 12:56 hb10.txt

成功挂载，客户端生成，删除都会影响nfs服务端的目录
3）nfs服务端与客户端实战小结

搭建使用：
nfs服务端，配置文件，重启
nfs客户端，需要安装nfs软件，不需要启动，mount -t 指定文件系统类型
辅助命令：属于nfs-utils软件包
	rpcinfo -p  查询rpc服务状态
	showmount -e ip 查看指定nfs服务器共享了哪些目录和具体情况

nfs服务端详解

1）配置文件格式
在这里插入图片描述

2）NFS服务端其他配置-用户压缩系列
NFS服务端的用户压缩,映射:客户端通过各种用户访问NFS服务端,到了NFS服务端用户被转换为nfsnobody

NFS服务端配置文件
rw可以读写
ro只读read-only
anonuidanonuid指定匿名用户的uid
anongidanongid指定匿名用户的gid
root_squash默认的NFS服务端选项:只对root进行压缩，压缩为匿名用户
no_root_squash默认的NFS服务端选项:其他用户不压缩,保持原有用户.
all_squash所有用户到了NFS服务端都被压缩为指定虚拟用户.
sync同步：用户上传到nfs的数据，实时写入磁盘中
async异步：用户上传到nfs的数据，过一段时间写入磁盘中
同步与异步:未来在网站优化中会提到. 未来优化的方向:尽量让用户的请求往前推(让用户没访问到网站就得到了想要的内容,利用各种缓存.)

a）测试anonuid,anongid

1.创建虚拟用户www ,uid/gid一致。都创建
useradd -u 1111 -s /sbin/nologin -M www

vi /etc/exports
/data/	172.16.1.0/24(rw,anonuid=1111,anongid=1111)

2.重新加载nfs
systemctl reload nfs

3.创建/data目录
mkdir -p /data
chown www.www /data

4.web01操作
mount 172.16.1.31:/data /mnt
df -h
[root@web01 ~]# df -h
文件系统                                容量  已用  可用 已用% 挂载点
devtmpfs                                2.0G     0  2.0G    0% /dev
tmpfs                                   2.0G     0  2.0G    0% /dev/shm
tmpfs                                   2.0G   12M  2.0G    1% /run
tmpfs                                   2.0G     0  2.0G    0% /sys/fs/cgroup
/dev/mapper/centos_hb--sre--muban-root   17G  2.0G   15G   12% /
/dev/sda1                              1014M  138M  877M   14% /boot
tmpfs                                   394M     0  394M    0% /run/user/0
172.16.1.31:/nfsdata                     17G  2.1G   15G   12% /upload
172.16.1.31:/data                        17G  2.1G   15G   12% /mnt

5.测试
touch /mnt/hb.txt
nfs01:
ll /data
[root@nfs01 /data]# ll
总用量 0
-rw-r--r-- 1 www www 0 10月 18 02:12 hb.txt

b）测试 all_squash并压缩到指定用户

1.配置
cat /etc/exports
#共享/nfsdata目录
/nfsdata 172.16.1.0/24(rw) ##172.16.1.0/24网段对 nfs服务端的/nfsdata目录 拥有读写权限
/data 172.16.1.0/24(rw,all_squash,anonuid=1111,anongid=1111)

2.重加载nfs
systemctl reload nfs

3.检查配置
cat /var/lib/nfs/etab
/data	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=1111,anongid=1111,sec=sys,rw,secure,root_squash,all_squash)
/nfsdata	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash)

4.删除文件测试
[root@web01 /]# rm -rf /mnt/hb.txt
ok

c）用户压缩图解
在这里插入图片描述

3）服务端配置文件

NFS服务端配置文件
rw可以读写
ro只读read-only
anonuidanonuid指定匿名用户的uid
anongidanongid指定匿名用户的gid
root_squash默认的NFS服务端选项:只对root进行压缩，压缩为匿名用户
no_root_squash默认的NFS服务端选项:其他用户不压缩,保持原有用户.
all_squash所有用户到了NFS服务端都被压缩为指定虚拟用户.
sync同步：用户上传到nfs的数据，实时写入磁盘中
async异步：用户上传到nfs的数据，过一段时间写入磁盘中
同步与异步:未来在网站优化中会提到. 未来优化的方向:尽量让用户的请求往前推(让用户没访问到网站就得到了想要的内容,利用各种缓存.)

4）客户端配置文件

配置文件：/etc/exports 及格式
日志(类似nfs服务端共享的目录及共享选项:/var/lib/nfs/etab (exports table))
NFS服务端核心配置： rw,ro,all_squash,anonuid,anongid

1.6 NFS客户端选项(mount)

mount命令选项
-t指定文件系统类型.-t nfs xfs ext4 iso9660(光盘) loop(dd创建文件)
-o指定挂载选项：
nodev,noexec,nosuid 安全挂载的选项，防止人员上传病毒/目录并执行
rw,remount

1）安全选项
限制之前

cp /bin/whoami /upload/du
cd /upload
./du

限制之后

umount /upload
重新挂载
mount -t nfs -o noexec,nodev,nosuid 172.16.1.31:/nfsdata /upload/
./du
-bash: ./du: Permission denied

2）故障案例-文件系统只读

  • 故障背景/现象: 日常操作Linux系统突然发现,创建文件的时候,命令行提示: Read-only File system (只读文件系统)
  • 排查过程:
    • 发现非人为设置ro.
    • 极可能是linux系统问题/etc/fstab修改文件(配置文件),磁盘故障(硬件).
    • mount -o rw,remount / 重新挂载对应的磁盘分区,挂载为rw权限.
    • 需要进入单用户或救援模式,修改或恢复/etc/fstab.
    • 备份数据.
  • 结果:
    • 解决故障.

NFS永久挂载

客户端：
# 方法01
挂载命令写入到/etc/rc.local并给x权限给rc.local
# 方法02
1.修改/etc/fstab配置
172.16.1.31:/nfsdata	/upload	nfs	defaults	0	0
需要remote-fs 服务运行
2.systemctl status remote-fs.target
HBinz
关注
  • 26
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sre-paris.github.io:SRE巴黎集团的静态站点
04-30
SRE 是谷歌提出的一种工程实践，旨在结合软件开发和系统运维，确保服务的高可用性、性能和可扩展性。 **描述分析：** 这个存储库包含的是巴黎SRE团队的官方网站内容，这些内容是自动生成的，可能来自于某种自动化...
SRE-Tool：最后一年的项目
02-16
在IT行业中，SRE（Site Reliability Engineering，网站可靠性工程）是一个至关重要的领域，它结合了软件工程和系统运维，旨在确保服务的高可用性、性能和可扩展性。"SRE-Tool：最后一年的项目"很可能是某个学生或...
运维SRE-11 备份服务及备份项目
Binbinhb的博客
02-22 613
守护进程：持续运行的进程，也可以叫作服务服务一般分为：服务端与客户端服务端：linux服务器上运行的各种服务软件客户端：linux中的客户端可能是一个命令，也可能是app，小程序等基础特点：增量同步rsync应用场景rsync远程模式(用法，选项)rsync守护进程模式，必会排错通过邮件,微信,钉钉,短信,电话方式进行通知内容比较捡漏需要优化技术点：rsync守护进程模式,定时任务,脚本(打包备份,变量.),脚本执行检查.
运维SRE-10 综合架构
Binbinhb的博客
02-22 774
阶段主要内容核心目标第1阶段1、Linux必备技能 2、Linux命令 3、Linux排障基础思维（常见错误提示及含义 4、其他工具，服务使用技术点，命令，排障，基本服务，三剑客，正则表达式第2阶段-集群架构阶段1、掌握网站架构 2、相关服务：备份、同步、存储、管理、监控、web、Nginx、Tomcat、python\Golang、springboot 3、排障进阶（分析与解决）掌握网站架构， 各种服务应用，排障进阶第3阶段-自动化阶段。
运维SRE-08 网络基础与进阶
Binbinhb的博客
02-22 1110
网络：简单说通过网络介质把各种设备连接起来形成的结构网络介质：网线：六类网线，七类网线(速度)光纤WIFI无线5GFC接口：全名叫Ferrule Connector，最早应用于存储局域网络。外壳材质为金属，接口处有螺纹，和光模块连接时可以固定的很好。
运维SRE-13 实时同步和SSH服务
Binbinhb的博客
02-22 296
应用场景: 对存储(或类似要求的服务)要求对其中的数据进行实时同步(备份),同步到指定的机器.
运维SRE-04 磁盘管理体系
Binbinhb的博客
02-01 1031
目标熟练掌握常用磁盘配置(容量,转速,个数)熟练说出来或写出来: raid级别熟练掌握磁盘基础使用:拿到一块硬盘到可以向硬盘写入数据分区,格式化,挂载熟练掌握:磁盘空间不足 no space left on device故障,原因,排查,解决.磁盘基础内容磁盘基本内容磁盘Raid(磁盘阵列)磁盘分区知识点与实战磁盘格式化,磁盘挂载磁盘故障案例:磁盘空间不足 no space left on device磁盘性能测试其他补充磁盘空间不足原因现象排查解决。
职业探索--运维体系-SRE岗位/CRE岗位/运维岗位-服务心态-运维职业发展方向-运维对象和运维场景
pass
05-27 926
职业探索，关于运维岗位相关的发展方向和岗位职责的整理。
SRE-Google运维解密随记-2-服务目标质量
砚墨
01-03 288
这三项分别是指该服务最重要的一些基础指标、这些指标的预期值，以及当指标不符合预期时的应对计划。SLI:很明显，提供一个客观的方式来度量SLO是很重要的，否则大家就会产生分歧。数据经常是最直接的用户指标，但是由于条件限制可能只能监控服务器端的延迟数据。确的协议，描述了在达到或者没有达到SLO之后的后果。就可以将更多的力量投入到扩大服务规模的工程工作上去，或者是进行下一代的服务的。SLI中过于复杂的汇总模式可能会掩盖某种系统性能的变化，同时也更难以理解。虽然100%的“可用性”是不可能实现的，但是接近1。
什么是 SRE？一文详解 SRE 运维体系_sre运维，真是经典中的经典
qd520_1314的博客
04-19 1232
备注: 其实在国内的SRE文化中，一般只有对大型，对业务有重大影响的事故才会进行复盘，但实际上如果在时间和经历允许的情况下，对于一般的普通事故也应该在小范围进行复盘，正所谓大的故障都是从不断的小问题一点一点积累的。告警只是整个故障响应的第一个环节，解决的是故障如何发现的问题，而大多数的故障响应工作都是关于定义处理策略和提供培训的，以便人们在收到警报时知道该怎么做，通常这部分更多的是过去历史经验和运维经历的总结和沉淀，包括经验的一些抽象和工具化沉淀，以保证故障响应的效率和普遍化(即不依赖人为经验)。
A. 运维体系 --- SLA理论体系
micklongen的专栏
10-28 6419
A. 运维体系 — SLA理论体系 概述：SLA，是服务供应商与客户之间的服务等级协议，它定义了服务供应商应保证的服务质量，以及在服务不达标情况下的服务赔偿。SLA在定义上又细分为SLI、SLO与SLA。 SLI，服务质量指标，服务的某项质量的一个具体的量化指标。 SLO，服务质量目标，服务的某项SLI的具体目标值，或者目标范围。 SLA，服务质量协议，描述在服务不达SLO情况下的后果。 SLA的收益 3.1 增强运行态的确定性：SLA可以帮助构建线上运行态的确定性，让产品从“能够正常对外提供服务”跨
2021 Gdevops全球敏捷运维峰会-广州站（17份）.zip
05-18
2021 Gdevops全球敏捷运维峰会(广州站）共4个专题共17份。 主会场 OceanBase开源核心解读和未来展望.pdf 敏捷的力量之源.pdf 浅析数字化转型与产业互联网.pdf 数据库专场 ABC场景驱动下，如何制定数据库与存储技术...
Gdevops广州 2021年全球敏捷运维峰会PPT合集（17份）.zip
06-17
Gdevops广州 2021年全球敏捷运维峰会PPT合集（17份），共分主会场，运维和DevOps专场，数据库专场，金融专场。 OceanBase开源核心解读和未来展望 敏捷的力量之源 浅析数字化转型与产业互联网 低成本全链路监控实战...
分布式存储Ceph的部署及应用（创建MDS、RBD、RGW 接口）
weixin_44112402的博客
07-17 794
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
CI/CD详解 & Jenkins 介绍与实战
my的博客
07-16 985
本文大纲概览： CI/CD 概念与工作流程 详解 Jenkins安装、启动、初始化配置 使用Jenkins部署github上的 xzll-im 微服务项目 freestyle方式 push代码后自动部署 pipeline方式部署 pipeline + push 方式 本文实操过程中，相关工具版本信息如下： centos版本： CentOS Linux release 7.9.200...
Langchain-Chatchat3.1版本docker部署流程——知识库问答
最新发布
qq_38531623的博客
07-18 285
langchain-chatchat3.1 docker部署 知识库问答篇
9，SSH sftp 命令
sagima_sdu的博客
07-16 188
是 SSH 提供的一个客户端应用程序，主要用来安全地访问 FTP。因为 FTP 是不加密协议，很不安全，FTP 的提示符下面，就可以输入各种 FTP 命令了，这部分完全跟传统的 FTP 用法完全一样。执行上面的命令，会要求输入 FTP 的密码。密码验证成功以后，就会出现 FTP 的提示符。就相当于将 FTP 放入了 SSH。下面的命令连接 FTP 主机。
7.17（nodejs、vue、SSH服务、SSH免密登录）
m0_71589190的博客
07-17 1074
nodejs、vue、SSH服务、SSH免密登录
linux运维 sre云计算 资料
07-25
Linux运维（Linux system administration）是指对Linux操作系统进行配置、管理和维护的技术工作。Linux运维人员是企业或组织中负责Linux服务器管理的专业人员。他们负责安装、配置、监控、升级、维护和故障排除等工作，保证Linux服务器的稳定运行和安全性。Linux运维人员需要熟悉Linux操作系统的基本原理和常用命令，熟悉网络、存储和安全等方面的知识，具备故障排除和问题解决的能力。 SRE（Site Reliability Engineering）是一种将软件工程方法应用于系统运维的理念和实践。SRE的目标是通过自动化和团队合作的方式提高系统的可靠性和可维护性。SRE工程师需要将软件开发和运维的技能结合起来，通过编写代码和建立自动化工具来管理系统，并不断改进系统的稳定性和性能。SRE还需要具备故障排除和问题解决的能力，能够快速响应和恢复系统故障。 云计算（cloud computing）是一种基于互联网的计算模式，通过将应用程序和数据存储在云端的服务器上，实现资源的共享和按需使用。云计算可以提供可扩展的计算能力、存储空间和服务，为用户提供灵活性、可靠性和经济性等优势。云计算包括基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）等不同层次的服务模式。云计算还涉及虚拟化、容器化和自动化等技术，能够实现资源的动态分配和管理。 以上是关于Linux运维、SRE和云计算的基本介绍。这些领域的技术和知识在当前信息技术领域具有重要的应用和发展前景，对于提高系统的稳定性、性能和可靠性，以及提高企业的效率和竞争力都具有重要意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值