Ceph入门到精通-Ceph分布式存储解决方案汇总

最新推荐文章于 2024-11-18 12:14:49 发布
最新推荐文章于 2024-11-18 12:14:49 发布
阅读量3.8k 收藏 14
点赞数 2
分类专栏： Ceph入门到精通 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxb880114/article/details/130646069
版权
本文详细介绍了Ceph分布式存储的混合硬件架构方案，包括SSD与HDD的混合配置，以及Ceph的最佳实践，如节点硬件配置、Ceph集群实践方案。同时，提供了Intel硬件方案白皮书，推荐了SSD型号，并探讨了Ceph的性能调优，包括CPU、内存、磁盘和网络的优化策略，旨在帮助读者理解如何构建和优化Ceph存储系统。
摘要由CSDN通过智能技术生成

混合硬件架构方案建议

考虑成本，选择SSD与HDD混合硬件架构

  • 方案一：使主本数据放在SSD OSD，副本数据放在HDD OSD，编写新的crush rule
  • 方案二：存储池分配优先级，通过编写crush rule来实现，冷热数据分离
  • 方案三：分层存储，ceph缓存代理技术
  • 方案四：SSD固态盘分配block_db和block_wal分区做加速

参考：Ceph分布式存储混合硬件架构方案

Ceph最佳实践

节点硬件配置

OSD节点配置

针 IOPS 密集型场景，服务器配置建议如下：
OSD：每个 NVMe SSD 上配置四个 OSD（lvm）。
Controller：使用 Native PCIe 总线。
网络：12osd/万兆口
内存：16G + 2G/osd
CPU：5c/ssd

针对高吞吐量型，服务器配置建议如下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿里大厂面试：2亿条数据需要缓存，如何设计这个存储方案？
互联网老辛
03-24 6982
阿里大厂面试
Ceph入门到精通-分布式存储产品的测试实践
隔壁老瓦的专栏
08-13 1141
在分布式存储产品的测试过程中，测试到底做了些什么事情呢？
【北亚企安数据恢复】Ceph存储介绍&Ceph数据恢复流程
beiya123的博客
09-26 344
Ceph存储可分为块存储，对象存储和文件存储。Ceph基于对象存储，对外提供三种存储接口，故称为统一存储。 Ceph的底层是RADOS(分布式对象存储系统)，RADOS由两部分组成：OSD和MON。 MON负责监控整个集群，维护集群的健康状态，维护展示集群状态的各种图表，如OSDMap、MonitorMap、PGMap和CRUSHMap。 OSD负责存储数据、复制数据、平衡数据、恢复数据，与其它OSD间进行心跳检查等。通常情况下一块硬盘对应一个OSD。
Ceph保姆级安装教程（详细 ）
最新发布
m0_73642416的博客
11-18 1382
在本文，CENTOS1将被视作主节点第四章执行的顺序一定不能错顺序一定不能错顺序一定不能错。
容器与持久化存储:容器的开源分布式存储方案选型
weixin_45583158的博客
03-29 2887
导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，...
分布式存储方案
06-14
该方案描述分布式存储的实现方式，提出一种技术框架，希望有需要的朋友下载
分布式环境中文件存储的解决方案-分布式文件系统FastDFS
lijinghua的博客
08-28 1163
1. 学习FastDFS的原因 在分布式集群环境下，文件上传至节点A，这时通过负载均衡算法，访问到节点B，则不能访问到文件，这时 会出现有时能访问有时不能访问的问题。 同时要考虑为文件做冗余备份、负载均衡、线性扩容等功能，这些都是单节点文件上传所不具备的。 2. FastDFS概念     FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网
XSKY分布式存储解决方案.pdf
08-20
XSKY分布式存储解决方案。XSKY是国内数一数二的分布式存储软件厂商。文档重点介绍了XSKY统一存储的方案架构以及一些案例。
Ceph入门到精通-对象存储的冷热分离实现方法，该如何配置
隔壁老瓦的专栏
06-19 327
使用AWS CLI创建S3存储桶，可以通过指定LocationConstraint参数来创建存储桶，并使用--endpoint-url指向RADOS Gateway的地址。使用ceph osd pool create命令创建新的数据池。例如，创建一个名为test.hot.data的热数据池。使用radosgw-admin zonegroup placement add命令添加新的存储类，并指定存储类名称。使用radosgw-admin zone placement add命令为新存储类提供区域。
Ceph入门到精通-ceph经典盘符飘逸问题处理步骤
隔壁老瓦的专栏
06-07 489
在Ceph存储系统中，"盘符飘逸"通常指的是Ceph OSD（Object Storage Daemon）使用的磁盘在系统重启后没有被正确挂载或识别。： 如果Ceph OSD使用的是LVM（Logical Volume Manager），使用。： 如果问题复杂，难以自行解决，考虑联系Ceph社区或专业技术支持。这个命令将尝试挂载所有LVM卷，并启动相关的Ceph OSD。： 如果问题依旧存在，可能需要重新配置Ceph OSD。命令查看所有OSD的状态，确认哪些OSD可能存在问题。
HPE超融合解决方案，分布式存储SimpliVity
06-06
集成系统仅将管理界面下的现有服务器和存储器结合在一起，有时候使用单个 SKU 加快部署速度。 其他超融合解决方案虚拟化存储器、将存储器与计算在 x86 上结合起来并扩展资源，对“网络规模”与企业功能只能采取折中的办法。 只有 SimpliVity 提供业界最完整的超融合平台，为虚拟化工作负载提供所需的 IT 基础设施和数据服务，包括内置数据保护。
Ceph存储
wenqing_ruyu的博客
07-11 819
Ceph分布式存储
ceph存储
2401_83786744的博客
07-10 1020
存储的三种方式包括：块存储、文件存储、对象存储1。此外，还有内存存储、硬盘存储和闪存存储2。内存存储：临时性数据存储方式，存储速度快，容量有限，通常用来存储正在使用的程序和数据。硬盘存储：永久性数据存储方式，存储速度相对较慢，容量较大，通常用来存储操作系统、应用程序、文档、图片、音频和视频等大容量数据。闪存存储：固态存储器，存储速度相对较快，容量较大，通常用来制作U盘、存储卡等移动设备。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。
ceph集群搭建
s1440350254的博客
02-07 2150
ceph集群搭建 文章目录ceph集群搭建cephceph的构成搭建ceph集群实现块存储客户端使用块设备 ceph ceph被称作面向未来的存储 中文手册： https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5/html/architecture_guide/index http://docs.ceph.org.cn/ ceph可以实现的存储方式： 块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”
linux的ceph
cycjok的博客
08-07 809
ceph
分布式存储问题及解决方案
neo949332116的博客
03-16 4220
分布式存储存在的问题 分布式存储一般情况下都是靠“副本”来确保数据的安全性和完整性。每块盘记录的数据内容都不一样，当某一块盘出现问题，都需要从其他不同盘内的数据块中进行快速的数据重构。 数据重构是需要时间的，如果大量盘同时故障，将会发生什么？另外，OSD的扩容，也会导致数据的迁移，也会影响存储。 分布式存储一般都采用副本的方式来确保数据的安全性。写入磁盘前不需要进行额外复杂的计算，就可以将数据写入磁盘，是最快速的方式。是一种空间换时间的方法，即想得到较好的存储性能，就采用副本的方式。 当有副本出现丢
分布式数据（文件）存储
lxlmycsdnfree的博客
11-12 7797
在分布式存储里面，比较常见的有kafka,Hbase,HDFS,fastDFS等，这里面涉及到文件的分布式存储以及数据的分布式存储。分布式存储的背景：就是将数据文件分散的存储到分布式集群的每一个节点，提升了存储的容量（大数据化）；同时尽量凸显分布式的检索能力。分布式存储的原理：分层化的hash映射、数据组织的数据摘要以及块数据的叶子索引结构；这几种数据结构相结合的方式提供快速检索的能力和存储结构。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来AI编程

共鸣===鼓励 打赏您随意

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值