保姆级别的分布式存储ceph教程（非常详细）零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2025-03-10 16:51:30 发布
最新推荐文章于 2025-03-10 16:51:30 发布
阅读量1.1w 收藏 56
点赞数 9
分类专栏： 程序员 互联网 渗透测试 文章标签： ceph web安全 数据库 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Javachichi/article/details/138302941
版权

ceph 简介  

不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。

Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。

Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）

Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。

Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。

MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令

简单理解  

OSD  

OSD 守护进程,至少两个用于存储数据、处理数据拷贝、恢复、回滚、均衡通过心跳程序向monitor提供部分监控信息

         

Mon  

         

维护集群的状态映射信息包括monitor、OSD、placement Group(PG)还维护了monitor、OSD和PG的状态改变历史信息

         

Mgr  

         

负责ceph集群管理，如pg map对外提供集群性能指标（如cpeh -s 下IO信息）

具有web界面的监控系统（dashboard）

         

Ceph 逻辑结构  

数据通过ceph的object存储到PG,PG在存储到osd daemon，

losd对应disk

lobject只能对应一个pg

l一个raid可以对应一个osd

l一整块硬盘可以对应一个osd

l一个分区可以对应一个osd

monitor：奇数个 osd : 几十到上万，osd越多性能越好

         

PG  

副本数

crush规则(pg怎么找到osd acting set)

用户及权限  

         

lepoach：单调递增的版本号

lacting set: osd列表，第一个为primary osd，replicated osd

lup set :acting set过去的版本

lpg tmp:临时pg组

         

osd状态  

默认每2秒汇报自己给mon(同时监控组内osd，如300秒没有给mon汇报状态，则会把这个osd踢出pg组)

         

lup 可以提供io

ldown 挂掉了

lin 有数据

lout 没数据了

ceph应用场景  

通过tgt支持iscsi挂载

l公司内部文件共享

l海量文件，大流量，高并发

l需要高可用、高性能文件系统

l传统单服务器及NAS共享难以满足需求，如存储容量，高可用

         

ceph生产环境推荐  

存储集群采用全万兆网络

集群网络(不对外)与公共网络分离(使用不同网卡)

mon、mds与osd分离部署在不同机器上

journal推荐使用PCI SSD,一般企业级IOPS可达40万以上

OSD使用SATA亦可

根据容量规划集群

至强E5 2620 V3或以上cpu,64GB或更高内存

最后，集群主机分散部署，避免机柜故障(电源、网络)

实验安装   

环境  

         

地址

硬盘

作用

192.168.50.250/ 192.168.238.128(私网)

4块 20G SSD/ 2张网卡

OSD

主机名修改  

图片

         

源安装  

图片

升级remoto 包  

图片

         

图片

ssh 秘钥认证(单机忽略)  

工具包安装  

         

图片

         

         

NTP 安装  

防止时钟漂移导致故障

图片

Openssh 安装  

图片

         

创建ceph 用户  

图片

允许无密码 SSH 登录  

图片

防火墙

sudo firewall-cmd --zone=public --add-port=6789/tcp --permanent

若使用 iptables ，要开放 Ceph Monitors 使用的 6789 端口和 OSD 使用的 6800:7300 端口范围，命令如下：

         

图片

      

在每个节点上配置好 iptables 之后要一定要保存，这样重启之后才依然有效。例如：

         

         

图片

关闭selinux  

省略

启用可选软件库

图片

   安装ceph-deploy   

图片

创建集群  

创建monitoer  

图片

修改配置  

图片

安装ceph  

图片

中途可能会报错工具安装失败

图片

错误总结链接1

         

图片

         

错误总结链接2      

         

图片

图片

创建和收集keyring  

图片

图片

图片

         

将认证密钥拷贝到其他节点便于ceph命令行可以通过keyring和ceph集群进行交互

创建OSD存储节点  

图片

准备硬盘

         

这里有四块磁盘

因为想使用整块磁盘这里直接一个磁盘做一个分区,直接使用mkfs.ext4制作

图片

图片

         

创建OSD  

图片

 把配置文件和admin 秘钥到管理节点和ceph节点

图片

此时使用ceph-s看到的状态是no active mgr 的状态

         

图片

安装ceph-mgr  

官方文档建议在每个 monitor 上都启动一个 mgr

         

图片

         

     

Ceps -s 查看状态

         

图片

清除操作  

安装过程中如遇到奇怪的错误，可以通过以下步骤清除操作从头再来

[root@ceph1 ceph-install]# ceph-deploy purge ceph-node0 ceph-node1 ceph-node2          
[root@ceph1 ceph-install]# ceph-deploy purgedata ceph-node0 ceph-node1 ceph-node2          
[root@ceph1 ceph-install]# ceph-deploy forgetkeys

优化  

关于性能  

OSD 为客户端处理数据复制，复制多份时 OSD 间的网络负载势必会影响到客户端和 ceph 集群 的通讯，包括延时增加、产生性能问题;恢复和重均衡也会显著增加公共网延时。

关于安全

很少的一撮人喜欢折腾拒绝服务攻击(DoS)。当 OSD 间的流量瓦解时， 归置组再也不能达到 active+clean 状态，这样用户就不能读写数据了。挫败此类攻击的一种好方法是 维护一个完全独立的集群网，使之不能直连互联网;另外，请考虑用签名防止欺骗攻击

分离公共网络和集群网络

就是网络分离

修改ceph.conf

              

图片

osd op threads = 8

图片

将配置文件同步到其它节点 & 重启节点

图片

图片

ceph-mon 进程应监听在 192.168.50.0 网段IP上          
ceph-osd 应分别监听在 192.168.50.0 和 192.168.238.0两个网段IP上          
192.168.238.0 网段为集群内部复制数据时使用          
192.168.50.0 网段为客户端连接时使用

查看osd与ceph状态

图片

Ceph 存储池与文件系统  

创建文件系统ceph-fs  

ceph-fs需要元数据mds服务

一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。配置这些存储池时需考虑：

创建mds,osd上都创建，高可用性

图片

pool 存储池  

池是ceph存储集群的逻辑分区，用于存储对象

对象存储到池中时，使用CRUSH规则将该对象分配到池中的一个PG，PG根据池的配置和CRUSH算法自动映射一组OSD池中PG数量对性能有重要影响。通常而言，池应当配置为每个OSD包含的100-200个归置组

图片

创建池时。ceph会检查每个OSD的PG数量是否会超过200.如果超过，ceph不会创建这个池。ceph3.0安装时不创建存储池

创建存储池  

图片

l若少于5个OSD， 设置pg_num为128。

l5~10个OSD，设置pg_num为512。

l10~50个OSD，设置pg_num为4096。

l超过50个OSD，可以参考pgcalc计算。

         

参数解释  

lpool-name 存储池的名称

lpg-num 存储池的pg总数

lpgp-num 存储池的pg的有效数，通常与pg相

         

         

         

图片

创建文件系统  

图片

客户端挂载  

图片

使用客户端 ceph-fuse 挂载文件系统

图片

块存储  

图片

创建一个存储池

创建一个10G的块  

图片

将10G的块映射到本地

# 查看创建的image 是否存在

         

         

         

         
 

图片

需要去掉一些feature

图片

图片

映射

查看

图片

格式化挂载rbd0到本地的目录中

         

         

查看

         

图片

   

 ​ 为了帮助大家更好的学习网络安全，我给大家准备了一份网络安全入门/进阶学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂这些资料！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

[2024最新CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享]


在这里插入图片描述

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

[2024最新CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享]
在这里插入图片描述

在这里插入图片描述

Ceph入门到精通-Cephadm安装Ceph(v17.2.5 Quincy)全网最全版本
隔壁老瓦的专栏
04-20 5988
Cephadm 生成一个适当的 ssh_config 文件，用于连接到远程主机Host *User rootCopy有两种方法可以为您的环境自定义此配置：CopyCopyCopy我们不推荐这种方法。路径名必须对任何 mgr 守护进程可见，并且 cephadm 将所有守护进程作为容器运行。
分布式存储ceph部署
2402_83805984的博客
07-09 936
具有高扩展性、高性能、高可靠性的优点。
Ceph分布式存储学习指南
02-17
UTF-8_Ceph分布式存储学习指南
Ceph 存储（最详细！）
热门推荐
A1100886的博客
07-14 1万+
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
Ceph（2）：Ceph简介
最新发布
u013938578的博客
03-10 734
Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企业版。
Ceph学习(1)---Ceph入门
weixin_60712169的博客
03-19 3105
Ceph学习(1)---Ceph入门
Ceph 基础入门
西京刀客
04-17 8049
Ceph 快速开始 一、什么是Ceph? 官网： https://docs.ceph.com/docs/master/ http://docs.ceph.org.cn/ Ceph架构介绍 参考URL: https://www.cnblogs.com/passzhang/p/12148933.html 干货｜非常详细的 Ceph 介绍、原理、架构 参考URL: https://blog.csdn.n...
ceph分布式存教程
weixin_45923788的博客
03-13 547
ceph集群创建： 创建虚拟机器必须是单数例如：3，6，9等 主机名对相应的/etc/hosts，ip地址，yum源可以上网查询 修改所有主机的主机名，ssh免密连接，ntp时间同步，创建物理磁盘 步骤一： 挂在相关的ceph资源包，ceph-mon，ceph-Tools，ceph-osd，ceph-ardosgw，ceph-mds 添加到/etc/yum.repos.d/local....
Ceph 入门系列（一）：混ceph江湖的技能图谱
Yannick Jiang 的专栏
06-19 1176
注：图片cephskill出自Ceph社区
Ceph分布式存储学习笔记之jewel
weixin_34292959的博客
05-29 221
本文介绍在Oracle Linux上创建配置ceph集群。Ceph软件代号为jewel。 一、操作系统设置 以下操作在每个ceph集群节点都要操作。1、OS内核设置 [root@hdp01 ~]# cat /proc/sys/kernel/pid_max 32768 [root@hdp01 ~]# vi /etc/sysctl.conf kernel.pid_max = 4194303 [root...
分布式存储Ceph架构与性能调优实践.pdf
10-13
分布式存储Ceph架构与性能调优实践 分布式存储Ceph架构与性能调优实践是当前最热门的解决方案之一。下面将对Ceph架构与性能调优实践进行详细的介绍和分析。 Ceph介绍 Ceph是一个开源的分布式存储系统，它提供了高...
ceph分布式存储入门文章
10-06
该文章是ceph存储的入门级文章，简单介绍了ceph的组件及其原理。
基于Rocky Linux的手动部署Ceph分布式存储教程
10-13
主要内容：本文提供了详细的步骤指南来在基于Rocky Linux环境下搭建一套完整的Ceph分布存储系统，包括节点准备、监控服务Monitors配置、管理服务器Manager的建立、OSD的设定、Metadata服务器MDSS部分以及对象网关...
分布式存储Ceph技术及应用白皮书
10-16
分布式存储Ceph技术是一种先进的开源存储解决方案，专为大规模、高可用性和数据耐久性而设计。Ceph的核心设计理念是提供统一的、无中心的存储系统，能够支持块存储、对象存储和文件存储三种主要的存储接口。在本文中...
ceph分布式存储解说
04-05
Ceph是一个全面的分布式存储解决方案，它涵盖了文件存储（CephFS）、块存储（RBD）和对象存储（Rados Gateway）。Ceph的独特之处在于其统一的存储层，称为RADOS（Reliable Autonomic Distributed Object Store），...
【分布式系统】ceph部署（命令+截图巨详细版）
F12138X的博客
07-09 7879
每个人都想把手伸向夜空，去捕捉那属于自己的星星，但极少有人能真正地知道自己的星星在哪个位置
Ceph分布式存储学习指南3.1　Ceph存储架构
weixin_34198453的博客
05-02 268
第3章 Ceph架构和组件 本章将涵盖以下几大主题： Ceph存储架构 Ceph RADOS Ceph对象存储设备（OSD） Ceph monitor（MON） librados Ceph块存储 Ceph对象网关 Ceph MDS和CephFS 3.1　Ceph存储架构 Ceph存储集群由几个不同的软件守护进程组成，每个守护进程负责Ceph的一个独特功...
Ceph分布式存储学习指南1.14　Ceph
weixin_34223655的博客
05-02 260
1.14　Ceph 如果我们比较Ceph和现存的其他存储解决方案，由于Ceph特性丰富，它明显与众不同。它克服了现有存储系统的局限性，并已经被证明是昂贵的老存储系统的理想替代品。它是运行于任何商用硬件上的开源软件定义存储解决方案，这使得它也是一个经济的存储解决方案。Ceph提供了各种接口让客户端连接Ceph集群，这为客户端增加了灵活性。对于数据保护，C...
Ceph分布式存储学习指南1.5　Ceph块存储
weixin_33854644的博客
05-02 190
1.5　Ceph块存储 块存储是存储区域网络中使用的一个数据存储类别。在这种类型中，数据以块的形式存储在卷里，卷会挂接到节点上。它可以为应用程序提供更大的存储容量，并且可靠性和性能都更高。这些块形成的卷会映射到操作系统中，并被文件系统层控制。 Ceph引入了一个新的RBD协议，也就是Ceph块设备（Ceph Block Device）。RBD为客户端提...
ceph分布式存储详细安装教程
05-27
Ceph是一个广泛使用的分布式存储系统，它可以在大规模的硬件集群上运行，并提供对象存储、块存储和文件存储等多种数据存储方式。下面是一个Ceph分布式存储的详细安装教程： 1. 安装Ceph软件包 在安装Ceph之前，需要添加Ceph软件包的源。可以使用以下命令添加Ceph源： ``` sudo apt-get install wget wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - echo deb https://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list ``` 注意：上面的`{ceph-stable-release}`需要替换为你要安装的Ceph版本，例如：`luminous`、`mimic`等。 添加源之后，执行以下命令安装Ceph软件包： ``` sudo apt-get update sudo apt-get install ceph-deploy ceph-mds ceph-mon ceph-osd ``` 2. 配置Ceph集群 在安装Ceph软件包之后，需要配置Ceph集群。可以使用`ceph-deploy`工具来配置集群。首先需要创建一个新的Ceph集群，可以使用以下命令： ``` mkdir my-cluster cd my-cluster ceph-deploy new {ceph-mon-node1} {ceph-mon-node2} {ceph-mon-node3} ``` 注意：上面的`{ceph-mon-node1}`、`{ceph-mon-node2}`和`{ceph-mon-node3}`需要替换为实际的Ceph Monitor节点IP地址或主机名。 执行以上命令后，会在`my-cluster`目录下生成一个`ceph.conf`配置文件和一个`ceph-deploy-ceph.log`日志文件。需要对`ceph.conf`文件进行一些修改，以便于Ceph集群正常运行。 在`ceph.conf`文件中，需要添加以下配置项： ``` fsid = {cluster-fsid} mon_initial_members = {ceph-mon-node1},{ceph-mon-node2},{ceph-mon-node3} mon_host = {ceph-mon-node1},{ceph-mon-node2},{ceph-mon-node3} public_network = {public-network} cluster_network = {cluster-network} ``` 注意：上面的`{cluster-fsid}`需要替换为一个UUID字符串，可以使用以下命令生成： ``` uuidgen ``` 注意：上面的`{ceph-mon-node1}`、`{ceph-mon-node2}`和`{ceph-mon-node3}`需要替换为实际的Ceph Monitor节点IP地址或主机名。`{public-network}`和`{cluster-network}`需要替换为实际的网络地址段。`{public-network}`是Ceph集群的公共网络地址，`{cluster-network}`是Ceph集群的集群网络地址。 然后需要在Ceph Monitor节点上初始化集群，可以使用以下命令： ``` ceph-deploy mon create-initial ``` 执行以上命令后，Ceph集群就初始化完成了。 3. 添加Ceph OSD节点 Ceph OSD是Ceph集群中的存储节点，可以使用以下命令添加Ceph OSD节点： ``` ceph-deploy osd create {osd-node1}:{osd-device1}:{osd-device2} {osd-node2}:{osd-device1}:{osd-device2} ... ``` 注意：上面的`{osd-node1}`、`{osd-node2}`等需要替换为实际的Ceph OSD节点IP地址或主机名。`{osd-device1}`和`{osd-device2}`需要替换为实际的磁盘设备路径。 执行以上命令后，Ceph OSD节点就添加完成了。 4. 添加Ceph MDS节点 Ceph MDS是Ceph集群中的元数据服务器，可以使用以下命令添加Ceph MDS节点： ``` ceph-deploy mds create {mds-node} ``` 注意：上面的`{mds-node}`需要替换为实际的Ceph MDS节点IP地址或主机名。 执行以上命令后，Ceph MDS节点就添加完成了。 5. 校验Ceph集群 在添加完Ceph节点之后，可以使用以下命令校验Ceph集群是否正常运行： ``` ceph -s ``` 如果Ceph集群正常运行，则会显示一些基本信息，例如：Ceph Monitor节点数量、Ceph OSD节点数量、Ceph MDS节点数量、存储池数量等。 以上就是Ceph分布式存储的详细安装教程，如果你想要更详细的了解Ceph的配置和使用，可以参考Ceph官方文档。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值