保姆级别的分布式存储ceph教程（非常详细）零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2024-05-20 17:20:00 发布
最新推荐文章于 2024-05-20 17:20:00 发布
阅读量902 收藏 17
点赞数 7
分类专栏： 程序员 互联网 渗透测试 文章标签： ceph web安全 数据库 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Javachichi/article/details/138302941
版权
互联网 同时被 3 个专栏收录
393 篇文章 56 订阅
订阅专栏
程序员
305 篇文章 30 订阅
订阅专栏
渗透测试
170 篇文章 2 订阅
订阅专栏

ceph 简介  

不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。

Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。

Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）

Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。

Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。

MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令

简单理解  

OSD  

OSD 守护进程,至少两个用于存储数据、处理数据拷贝、恢复、回滚、均衡通过心跳程序向monitor提供部分监控信息

         

Mon  

         

维护集群的状态映射信息包括monitor、OSD、placement Group(PG)还维护了monitor、OSD和PG的状态改变历史信息

         

Mgr  

         

负责ceph集群管理，如pg map对外提供集群性能指标（如cpeh -s 下IO信息）

具有web界面的监控系统（dashboard）

         

Ceph 逻辑结构  

数据通过ceph的object存储到PG,PG在存储到osd daemon，

losd对应disk

lobject只能对应一个pg

l一个raid可以对应一个osd

l一整块硬盘可以对应一个osd

l一个分区可以对应一个osd

monitor：奇数个 osd : 几十到上万，osd越多性能越好

         

PG  

副本数

crush规则(pg怎么找到osd acting set)

用户及权限  

         

lepoach：单调递增的版本号

lacting set: osd列表，第一个为primary osd，replicated osd

lup set :acting set过去的版本

lpg tmp:临时pg组

         

osd状态  

默认每2秒汇报自己给mon(同时监控组内osd，如300秒没有给mon汇报状态，则会把这个osd踢出pg组)

         

lup 可以提供io

ldown 挂掉了

lin 有数据

lout 没数据了

ceph应用场景  

通过tgt支持iscsi挂载

l公司内部文件共享

l海量文件，大流量，高并发

l需要高可用、高性能文件系统

l传统单服务器及NAS共享难以满足需求，如存储容量，高可用

         

ceph生产环境推荐  

存储集群采用全万兆网络

集群网络(不对外)与公共网络分离(使用不同网卡)

mon、mds与osd分离部署在不同机器上

journal推荐使用PCI SSD,一般企业级IOPS可达40万以上

OSD使用SATA亦可

根据容量规划集群

至强E5 2620 V3或以上cpu,64GB或更高内存

最后，集群主机分散部署，避免机柜故障(电源、网络)

实验安装   

环境  

         

地址

硬盘

作用

192.168.50.250/ 192.168.238.128(私网)

4块 20G SSD/ 2张网卡

OSD

主机名修改  

图片

         

源安装  

图片

升级remoto 包  

图片

         

图片

ssh 秘钥认证(单机忽略)  

工具包安装  

         

图片

         

         

NTP 安装  

防止时钟漂移导致故障

图片

Openssh 安装  

图片

         

创建ceph 用户  

图片

允许无密码 SSH 登录  

图片

防火墙

sudo firewall-cmd --zone=public --add-port=6789/tcp --permanent

若使用 iptables ，要开放 Ceph Monitors 使用的 6789 端口和 OSD 使用的 6800:7300 端口范围，命令如下：

         

图片

      

在每个节点上配置好 iptables 之后要一定要保存，这样重启之后才依然有效。例如：

         

         

图片

关闭selinux  

省略

启用可选软件库

图片

   安装ceph-deploy   

图片

创建集群  

创建monitoer  

图片

修改配置  

图片

安装ceph  

图片

中途可能会报错工具安装失败

图片

错误总结链接1

         

图片

         

错误总结链接2      

         

图片

图片

创建和收集keyring  

图片

图片

图片

         

将认证密钥拷贝到其他节点便于ceph命令行可以通过keyring和ceph集群进行交互

创建OSD存储节点  

图片

准备硬盘

         

这里有四块磁盘

因为想使用整块磁盘这里直接一个磁盘做一个分区,直接使用mkfs.ext4制作

图片

图片

         

创建OSD  

图片

 把配置文件和admin 秘钥到管理节点和ceph节点

图片

此时使用ceph-s看到的状态是no active mgr 的状态

         

图片

安装ceph-mgr  

官方文档建议在每个 monitor 上都启动一个 mgr

         

图片

         

     

Ceps -s 查看状态

         

图片

清除操作  

安装过程中如遇到奇怪的错误，可以通过以下步骤清除操作从头再来

[root@ceph1 ceph-install]# ceph-deploy purge ceph-node0 ceph-node1 ceph-node2          
[root@ceph1 ceph-install]# ceph-deploy purgedata ceph-node0 ceph-node1 ceph-node2          
[root@ceph1 ceph-install]# ceph-deploy forgetkeys

优化  

关于性能  

OSD 为客户端处理数据复制，复制多份时 OSD 间的网络负载势必会影响到客户端和 ceph 集群 的通讯，包括延时增加、产生性能问题;恢复和重均衡也会显著增加公共网延时。

关于安全

很少的一撮人喜欢折腾拒绝服务攻击(DoS)。当 OSD 间的流量瓦解时， 归置组再也不能达到 active+clean 状态，这样用户就不能读写数据了。挫败此类攻击的一种好方法是 维护一个完全独立的集群网，使之不能直连互联网;另外，请考虑用签名防止欺骗攻击

分离公共网络和集群网络

就是网络分离

修改ceph.conf

              

图片

osd op threads = 8

图片

将配置文件同步到其它节点 & 重启节点

图片

图片

ceph-mon 进程应监听在 192.168.50.0 网段IP上          
ceph-osd 应分别监听在 192.168.50.0 和 192.168.238.0两个网段IP上          
192.168.238.0 网段为集群内部复制数据时使用          
192.168.50.0 网段为客户端连接时使用

查看osd与ceph状态

图片

Ceph 存储池与文件系统  

创建文件系统ceph-fs  

ceph-fs需要元数据mds服务

一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。配置这些存储池时需考虑：

创建mds,osd上都创建，高可用性

图片

pool 存储池  

池是ceph存储集群的逻辑分区，用于存储对象

对象存储到池中时，使用CRUSH规则将该对象分配到池中的一个PG，PG根据池的配置和CRUSH算法自动映射一组OSD池中PG数量对性能有重要影响。通常而言，池应当配置为每个OSD包含的100-200个归置组

图片

创建池时。ceph会检查每个OSD的PG数量是否会超过200.如果超过，ceph不会创建这个池。ceph3.0安装时不创建存储池

创建存储池  

图片

l若少于5个OSD， 设置pg_num为128。

l5~10个OSD，设置pg_num为512。

l10~50个OSD，设置pg_num为4096。

l超过50个OSD，可以参考pgcalc计算。

         

参数解释  

lpool-name 存储池的名称

lpg-num 存储池的pg总数

lpgp-num 存储池的pg的有效数，通常与pg相

         

         

         

图片

创建文件系统  

图片

客户端挂载  

图片

使用客户端 ceph-fuse 挂载文件系统

图片

块存储  

图片

创建一个存储池

创建一个10G的块  

图片

将10G的块映射到本地

# 查看创建的image 是否存在

         

         

         

         
 

图片

需要去掉一些feature

图片

图片

映射

查看

图片

格式化挂载rbd0到本地的目录中

         

         

查看

         

图片

   

 ​ 为了帮助大家更好的学习网络安全，我给大家准备了一份网络安全入门/进阶学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂这些资料！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

[2024最新CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享]


在这里插入图片描述

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

[2024最新CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享]
在这里插入图片描述

在这里插入图片描述

Python_chichi
关注
  • 7
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ceph 分布式存储入门实践篇（基础架构之六）
06-13
Ceph是一个可靠的、数据自动重均衡、自动恢复的SDS（软件定义存储）分布式存储系统，功能主要有三大块：块存储、对象存储、文件系统。 Ceph不但是提供了统一存储，并且同时还充分利用了客户端的计算能力，在存储每一...
Linux——分布式存储Ceph
weixin_55985097的博客
06-25 2139
分布式存储Ceph 一:存储的分类 1.本地文件系统 ntfs(windows)、ext2、ext3、ext4、xfs ext2不带日志，3和4带有日志：文件系统的日志作用（防止机器突然断电）：所有的数据在给磁盘存数据之前会先给文件系统的日志里面存一份，防止机器突然断电之后数据没有存完，这样它还可以从日志里面重新将数据拷贝到磁盘。 2.网络文件系统----做远程共享 非分布式 nfs 网络文件系统–称之为nas存储（网络附加存储） 分布式 hdfs 分布式网络文件系统 glusterfs 分布式网络文件系
Ceph分布式存储
热门推荐
Mrguo007的博客
07-22 1万+
ceph集群运用
分布式存储Ceph存储系统RADOS
牧羊人的方向
02-19 4923
RADOS是Ceph最为关键的技术，它是一个完整的对象存储系统，所有存储在Ceph系统中的数据最终由这一层来存储。本文主要介绍RADOS的系统架构和IO处理流程，以了解Ceph存储的设计原理。
ceph分布式存储
u010864567的博客
05-03 6278
分布式存储概述 数据分为元数据和数据 元数据即是文件的属性信息，元数据就是有一种路由机制，即当客户端或者应用程序产生的客户端数据被写入到分布式存储系统的时候，会有一个服务(NameNode)提供文件元数据的路由功能，即告诉应用程序去哪个服务器去请求文件内容，然后再有(DataNode)提供数据的读写请求及数据的高可用功能。 传统的分布式存 块存储：需要格式化，将文件保存到磁盘上 文件存储：提供数据存储的接口，是由操作系统针对块存储的应用，即由操作系统提供存储接口，应用程序通过调用操作系统将文件保
视频教程-Ceph 分布式存储入门实践篇（基础架构之六）-Linux
weixin_32840441的博客
05-28 854
Ceph 分布式存储入门实践篇（基础架构之六） 在宝成国际集团华东行政中心主...
分布式存储Ceph技术及应用白皮书
10-16
分布式存储Ceph技术及应用白皮书
ceph分布式存储解说
04-05
ceph分布式存储的入门级，安装、部署，并通过和gluster文件存储对比，体现ceph存储的高效解决方案。
分布式存储ceph安装报错总结
01-09
因为总结的报错有点多，就写一起了，以便于大家可以直接复制，然后用能查找关键字的工具直接查找。但是这样看起来可能会很乱 1.yum仓库，创建ceph.repo # vim /etc/yum.repos.d/ceph.repo [ceph-noarch] name=Ceph ...
Ceph集群扩容及数据再均衡原理分析
李姓门徒
05-14 545
用户文件在Ceph RADOS中存储、定位过程大概包括：用户文件切割成对象、对象映射到PG、PG分组PGP、PG映射到OSD。这些过程中，可能涉及了大量概念和变量，而其实它们大部分是通过HASH、CRUSH等算法计算出来的，初始参数可能也就只有这么几个：用户文件inode、layout、crush_map等。Ceph所有组件和客户端通过计算就能得到所有对象的Location，而且只要输入的参数信息不变，Location就不会变，另外通过PG作为中间层将对象与OSD解绑，使得对象在Ceph RADOS分布更均
最新版Ceph( Reef版本) nfs导出
weixin_42562106的博客
05-14 239
nfs挂载方式。
分布式存储系统ceph
文思源想的技术空间
05-17 413
Ceph是一个自由软件存储平台，为统一的分布式对象、块和文件存储提供了一个高性能的解决方案。Ceph的目标是通过将存储数据分布在多个硬盘、计算机或数据中心上来提供高性能、可扩展和冗余的存储。它通过CRUSH算法来确定数据应该存储在哪个位置，从而实现负载均衡和容错。Ceph云计算平台：一些大型云计算平台使用 Ceph 作为存储解决方案。大数据分析：在大数据处理场景中，Ceph 被用于存储和管理数据。企业存储系统：不少企业采用 Ceph 构建自己的存储系统。以下是一些可能使用到CephOpenStack。
一表捋清网络安全等级保护测评要求
weixin_45840241的博客
05-15 566
对于中小企事业单位来说，网络安全建设是一个复杂且投入较高的过程，因此他们更倾向于寻找一种“省心省力”的等保建设方案，以及一种能够持续有效且具有较高性价比的网络安全建设投入方式。通过采用等保一体机方案，客户能够根据自身需求定制所需的安全能力，例如等保二级能力与行为管理能力的结合，等保三级能力与远程安全接入能力的结合等。等保安全套餐方案一直致力于构建“一站式省时省力过等保，安全有效且具有高性价比”的优势，以更好地满足中小企事业单位的网络安全建设需求。导致的安全设备闲置或无法满足等保要求等。
web安全之登录框渗透骚姿势，新思路
qq_47289634的博客
05-10 593
越权漏洞的挖掘大部分是通过对比两个用户的请求包以及响应包，来观察不同之处，有的时候替换一下响应包就直接越权，其中特别要关注的是uid，这里在挖掘逻辑漏洞和越权漏洞时建议使用burp中的compare模块进行两个数据包的比对，非常直观。width=500&height=100导致可以随意更改大小，配合脚本批量请求，很容易就会把带宽占满，造成dos攻击。不管漏洞挖掘还是挖SRC，登录框都是重点关注对象，什么漏洞都有可能出现，登录框也是框，见框就插就对了，说不定会有奇效。看到登录框，输入信息后，抓包。
Upstream最新发布2024年汽车网络安全报告-百度网盘下载
最新发布
qq_18209847的博客
05-20 197
Levy总结道：“在负责保护车队、电动汽车充电站和基础设施的网络安全利益相关者中，对汽车网络安全的重要性日益增加。特别是在GenAI日益普及的情况下，其降低了黑帽子行为者的进入门槛，使他们能够比以往更快、更有效地进行大规模攻击。这份报告的第六版着重介绍了汽车网络安全的拐点：从实验性的黑客攻击发展到规模庞大的攻击，并产生了怎样的影响。另外今年的报告还提供了关于网络攻击的财务影响的独到见解，它提供了一个可操作的框架，用于在现实场景中衡量网络攻击的货币影响。
【实事】——《2024网络安全报告》
weixin_65728773的博客
05-14 620
尽管如此，我们也必须做出改变，否则就会像2023年所看到的那样，领先的企业提早采用新技术，落后的企业努力跟上信任和安全基础能力的步伐，以及网络生态系统内分散的激励机制，这些都将在未来几年加速数字鸿沟。在低收入的企业中，有52%的领导者表示，缺乏资源和技能是他们在设计网络弹性时面临的最大挑战。56%的领导者表示，在未来两年内，生成式人工智能将成为网络攻击者的工具。在不断变化的网络安全环境中，地缘政治的不稳定性、技术的飞速发展以及企业网络能力差距的日益扩大，都强化了建立网络弹性和实现系统化全球协作的必要性。
了解网络安全行业内有哪些公司？
aheyor的博客
05-14 922
https://wenku.baidu.com/view/8de38c790440be1e650e52ea551810a6f424c80f?aggId=f2f58cc8e618964bcf84b9d528ea81c758f52ecc&fr=catalogMain_text_ernie_recall_feed_index%3Awk_recommend_main4&_wkts_=1715651666515&bdQuery=%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85
CTF如何学习？
小司机的奥拓
05-14 917
作和项目会带来影响，毕竟你不可能打一辈子的CTF，而CTF和实战还是有区别，过度沉浸于CTF的模式当中会让你在实战中却无从下手**
ceph分布式存储详细安装教程
05-27
Ceph是一个广泛使用的分布式存储系统，它可以在大规模的硬件集群上运行，并提供对象存储、块存储和文件存储等多种数据存储方式。下面是一个Ceph分布式存储的详细安装教程： 1. 安装Ceph软件包 在安装Ceph之前，需要添加Ceph软件包的源。可以使用以下命令添加Ceph源： ``` sudo apt-get install wget wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - echo deb https://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list ``` 注意：上面的`{ceph-stable-release}`需要替换为你要安装的Ceph版本，例如：`luminous`、`mimic`等。 添加源之后，执行以下命令安装Ceph软件包： ``` sudo apt-get update sudo apt-get install ceph-deploy ceph-mds ceph-mon ceph-osd ``` 2. 配置Ceph集群 在安装Ceph软件包之后，需要配置Ceph集群。可以使用`ceph-deploy`工具来配置集群。首先需要创建一个新的Ceph集群，可以使用以下命令： ``` mkdir my-cluster cd my-cluster ceph-deploy new {ceph-mon-node1} {ceph-mon-node2} {ceph-mon-node3} ``` 注意：上面的`{ceph-mon-node1}`、`{ceph-mon-node2}`和`{ceph-mon-node3}`需要替换为实际的Ceph Monitor节点IP地址或主机名。 执行以上命令后，会在`my-cluster`目录下生成一个`ceph.conf`配置文件和一个`ceph-deploy-ceph.log`日志文件。需要对`ceph.conf`文件进行一些修改，以便于Ceph集群正常运行。 在`ceph.conf`文件中，需要添加以下配置项： ``` fsid = {cluster-fsid} mon_initial_members = {ceph-mon-node1},{ceph-mon-node2},{ceph-mon-node3} mon_host = {ceph-mon-node1},{ceph-mon-node2},{ceph-mon-node3} public_network = {public-network} cluster_network = {cluster-network} ``` 注意：上面的`{cluster-fsid}`需要替换为一个UUID字符串，可以使用以下命令生成： ``` uuidgen ``` 注意：上面的`{ceph-mon-node1}`、`{ceph-mon-node2}`和`{ceph-mon-node3}`需要替换为实际的Ceph Monitor节点IP地址或主机名。`{public-network}`和`{cluster-network}`需要替换为实际的网络地址段。`{public-network}`是Ceph集群的公共网络地址，`{cluster-network}`是Ceph集群的集群网络地址。 然后需要在Ceph Monitor节点上初始化集群，可以使用以下命令： ``` ceph-deploy mon create-initial ``` 执行以上命令后，Ceph集群就初始化完成了。 3. 添加Ceph OSD节点 Ceph OSD是Ceph集群中的存储节点，可以使用以下命令添加Ceph OSD节点： ``` ceph-deploy osd create {osd-node1}:{osd-device1}:{osd-device2} {osd-node2}:{osd-device1}:{osd-device2} ... ``` 注意：上面的`{osd-node1}`、`{osd-node2}`等需要替换为实际的Ceph OSD节点IP地址或主机名。`{osd-device1}`和`{osd-device2}`需要替换为实际的磁盘设备路径。 执行以上命令后，Ceph OSD节点就添加完成了。 4. 添加Ceph MDS节点 Ceph MDS是Ceph集群中的元数据服务器，可以使用以下命令添加Ceph MDS节点： ``` ceph-deploy mds create {mds-node} ``` 注意：上面的`{mds-node}`需要替换为实际的Ceph MDS节点IP地址或主机名。 执行以上命令后，Ceph MDS节点就添加完成了。 5. 校验Ceph集群 在添加完Ceph节点之后，可以使用以下命令校验Ceph集群是否正常运行： ``` ceph -s ``` 如果Ceph集群正常运行，则会显示一些基本信息，例如：Ceph Monitor节点数量、Ceph OSD节点数量、Ceph MDS节点数量、存储池数量等。 以上就是Ceph分布式存储的详细安装教程，如果你想要更详细的了解Ceph的配置和使用，可以参考Ceph官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值