![](https://img-blog.csdnimg.cn/54acfd8dad0a42e19c66234949772cc7.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式存储Ceph
文章平均质量分 88
本专栏将深入探讨Ceph分布式存储系统的核心技术、架构设计、部署实践以及应用场景等方面的内容,帮助读者全面了解Ceph的优势和价值,掌握其在大数据、云计算时代的核心技能。
gengduc
Keep Coding!
展开
-
Cephadm部署使用rgw对象网关(s3cmd和Java)
区域组(zonegroup):由一个或多个区域组成,包含一个主区域(master zone),其他区域称为Secondary Zone,区域组内的所有区域之间同步数据。multi-zonegroup:一个realm中有多个zonegroup,每个zonegroup中又有一个或多个zone。区域(zone): 一个ceph集群可以包含多个区域,一个区域只属于一个集群,一个区域可以有多个RGW。single-zone:一个realm中只有一个zonegroup和一个zone,可以有多个RGW。原创 2023-12-10 20:16:16 · 579 阅读 · 0 评论 -
Ubuntu20.04使用cephadm部署ceph集群
Cephadm通过在单个主机上创建一个Ceph单机集群,然后向集群中添加主机以扩展集群,进而部署其他服务。原创 2023-12-09 20:27:53 · 1039 阅读 · 0 评论 -
Ceph IO流程及数据分布
PG(Placement Group)用途是对object的存储进行组织和位置映射,(类似于redis cluster里面的slot的概念)一个PG里面会有很多object。Object是RADOS需要的对象。如果新加入的OSD1取代了原有的OSD4成为Primary OSD,由于OSD1上未创建 PG ,不存在数据,那么PG上的I/O无法进行,怎样工作的呢?:每个OSD上分布很多PG,并且每个PG会自动散落在不同的OSD上。如果扩容那么相应的PG会进行迁移到新的OSD上,保证PG数量的均衡。原创 2023-11-06 21:02:42 · 514 阅读 · 0 评论 -
Ceph源代码主要目录和文件介绍
【tools】:Ceph中的各种工具的实现:cephfs、rados、rbd、rbd-nbd、ceph-authtool、ceph-conf、ceph-kvstore-tool、ceph-monstore-tool、ceph-objectstore-tool、crushtool、monmaptool、osdmaptool。【mds】:MDS定义了维护了CephFS中的元数据,包括文件系统的树形结构、文件的属性、访问控制信息等,这些数据都是存在MDS节点的内存中,而真正的数据是存储在Rados里的。原创 2023-11-02 16:37:44 · 209 阅读 · 0 评论 -
在Bcache上启动OSD报unable to read osd superblock错误
可以看到OSD::init() : unable to read osd superblock,在OSD初始化时,无法读取OSD superblock。使用Bcache加速块设备,在上述环境中创建Bcache,并在Bcache上创建OSD。原创 2023-10-22 10:27:08 · 272 阅读 · 0 评论 -
Linux块设备缓存Bcache使用
Bcache是Linux内核块层cache,它使用SSD来作为HDD硬盘的cache,从而起到加速作用。Bcache内核模块仅在Linux 3.10及以上版本支持,因此使用Bcache,。原创 2023-10-18 21:25:50 · 3014 阅读 · 0 评论 -
Linux编译内核添加Bcache模块
由于Bcache是在linux kernel 3.10之后才加入的,所以要使用Bcache,首先必须确保内核版本至少是3.10或及以上,可以使用uname -a查看内核版本其次,还要查看内核中有没有编入Bcache模块,默认内核并没有将Bcache编译进内。可以通过下载内核源码重新编译将Bcache以内核模块的形式编译进内核。原创 2023-10-18 16:12:52 · 432 阅读 · 0 评论 -
【Ceph Cluster】完全删除Ceph集群
卸载 Ceph 相关的软件包,使用你的 Linux 发行版的包管理器。:重新启动系统以确保所有 Ceph 相关的服务和进程都已停止,并且不再运行。:这一步是最重要的,因为它涉及到删除 Ceph 集群的数据。:检查系统以确保没有残余的 Ceph 文件或目录,如。原创 2023-10-17 22:44:02 · 1391 阅读 · 0 评论 -
【Ceph Block Device】块设备挂载使用
librbd内核模块可以使用Linux页面缓存。对于基于librbd的应用程序,Ceph支持RBD Caching。创建pool,关联RBD应用程序。【可选】创建Ceph用户,授予对pool和image的权限,也可以直接使用admin。创建image,个人理解image相当于在pool中开辟出的磁盘空间,可以像操作块设备一样,对其进行格式化、挂载等操作。映射块设备。格式化。挂载使用。原创 2023-10-10 17:46:38 · 1610 阅读 · 0 评论 -
Ceph数据保护(多副本和纠删码)
介绍多副本和纠删码之前,我们先来说一下分布式存储。分布式存储是不同于传统集中式存储的的一种架构,很多时候也被称为SDS软件定义存储(Software Defined Storage)。传统集中式存储采用控制器+硬盘柜的方式,通过冗余的双控制器提供数据管理和读写能力(也有超过2个控制器的多控存储,多见于高端存储),通过控制器自带的硬盘槽位或扩展硬盘柜提供存储空间,如下图。集中式存储的硬盘数据保护多采用RAID技术,比如RAID5、RAID6、RAID10等,以后有机会我们再单独介绍。转载 2023-09-19 21:27:43 · 1744 阅读 · 0 评论 -
开源分布式存储系统(HDFS、Ceph)架构分析
以HDFS( Hadoop Distribution File System )为代表的架构是中间控制节点架构的代表。HDFS分布式文件系统是被设计成主从式的一种架构,集群中主要由和组成。原创 2023-09-19 11:14:40 · 727 阅读 · 0 评论 -
集中式存储和分布式存储
分布式存储实现了存储硬件和软件的互不影响,减少数据传输的干扰,使得信息存储和传输更敏捷,不仅运维成本低,而且也符合数据存储的发展趋势。直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。在分布式存储架构中,信息被存储于多个独立且互不干扰的设备中。原创 2023-09-14 17:14:34 · 1801 阅读 · 0 评论 -
Linux日志管理-logrotate(crontab定时任务、Ceph日志转储)
logrotate是一个用于管理Linux系统上的日志文件的工具,它的主要目的是确保日志文件不会变得过大,从而占用过多的磁盘空间并影响系统性能。当系统运行时间越长,生成的日志文件就越多,这些文件可能会变得非常大,导致磁盘空间不足。此外,如果日志文件太大,它们可能会变得不可读,从而导致难以诊断和解决问题。logrotate可以定期轮换旧的日志文件,并将它们压缩或删除,以释放磁盘空间并保持日志文件的可读性。它还可以在轮换时创建新的日志文件,以确保系统仍然可以记录重要的事件和错误信息。原创 2023-09-13 22:00:14 · 1589 阅读 · 0 评论 -
Loongnix单机部署Ceph(LoongArch架构、Ceph N版、手动部署MON、OSD、MGR、Dashboard服务)
解决办法:ceph config set mon auth_allow_insecure_global_id_reclaim false。通过ceph osd tree命令查询集群状态,可见集群services中所有osd服务已启动。通过fdisk等工具查看磁盘盘符,然后利用ceph-volume工具自动化创建osd服务。创建client.bootstrap-osd用户密钥,添加到集群密钥中。创建client.admin用户,添加到集群密钥中。安装ceph-osd服务程序。关闭防火墙和selinux。原创 2023-09-08 17:10:40 · 388 阅读 · 0 评论