ceph 数据平衡

最新推荐文章于 2024-06-04 10:53:02 发布
最新推荐文章于 2024-06-04 10:53:02 发布
阅读量3.6k 收藏
点赞数
分类专栏： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litianze99/article/details/48742801
版权

ceph 数据平衡

ceph数据平衡，很显然ceph分布式存储系统中的driver存储的数据失衡，体现在有些盘数据较多而有些盘数据较少，相差在20%左右。由木桶原理可知这样会导致大量的存储空间浪费，所有ceph数据再平衡就显得尤为重要。
一般步骤：

  1. 删除垃圾数据
  2. 修改osd权重

在调平衡之前最好先确定一下存储系统中是否都是有用的数据，如果

李艳坤
关注
专栏目录
ceph恢复和再平衡概念详解
weixin_40548182的博客
04-28 591
恢复和再平衡 在故障域内任何组件发生故障之后，在ceph将该OSD标记为down和out并初始化恢复操作前，默认情况下ceph会等待300秒。这个值可以在ceph集群的配置文件中通过参数 mon osd down out interval 进行修改。在恢复操作期间，ceph会重新组织发生故障的节点上受影响的数据。 crush会复制数据到多个磁盘，这些复制的数据在恢复的时候使用。在恢复期间crush试图移动尽量少的数据来构建一个新的集群布局，这样即使一些组件出现故障也能确保ceph的容错性。 当一个主机或磁盘
ceph集群和数据库到底是储存数据_一文讲清楚Ceph数据存储的架构设计
weixin_39828715的博客
11-21 741
一、Ceph支持文件系统服务、对象存储、块存储文件存储：文件系统存储是实现持久存储数据的最普遍的方法，一些常用的文件系统包括NFS和NTFS等。在云平台中，虚机或容器可以通过LVM的方式加载存储，这种普通主机持久性引起的主要问题是，它完全破坏了容器的可移植性，存储不易实现迁移。容器友好型的文件存储系统，通常需要通过跨多个服务器分布文件系统来实现。文件存储主要操作对象是文件和文件夹。以 NFS 为例...
ceph集群单个osd超95%导致集群无法读写集群恢复过程
yyaolingfeif的博客
12-06 6924
ceph新手，最近遇到的一个问题，已解决，请参考，文中有错误的话欢迎指正故障描述openstack环境中若干台虚拟机无法正常操作，尝试从horizon中重启虚拟机，重启过程中虚拟机状态一直停留在”powering on”的状态，无法进入系统查看openstack环境，发现后端ceph的状态异常,一个OSD full，一个near full。（clock是这个集群已知问题，这里不做介绍）(ceph-m
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了_ceph osd 数据平衡
2401_84263282的博客
04-13 696
后续会持续更新**
Ceph的数据的重平衡和数据一致性的实现方式
xuqiaobo的博客
05-09 2522
数据重平衡： 当在Ceph存储集群中添加新的OSD时，CURSH会重新计算PG ID，相应的集群映射表也会更新，基于重新计算的结果，对象数据的存放位置也会发生变化。 数据一致性 为保证数据的一致性和清洁性，Ceph存储集群会定期清洗PG中的对象数据，大概原理就是Ceph OSD会将一个PG中的数据与另一个PG中该数据的存储副本进行比较，以此获取对比结果，数据的清洗分为两种：第一种是轻度清洗，
ceph暂停数据平衡
weixin_33984032的博客
03-05 1082
2019独角兽企业重金招聘Python工程师标准>>> ...
ceph数据重均衡几种策略
T_IS_BEHINGD_T的博客
12-05 3560
Ceph 数据重均衡的几种方法 在集群刚建好的时候，对pool进行调整，调整的方法就是对osd进行reweight，通过多次的reweight，指定的pool在osd上能大致得到比较好的均衡效果，但是后续仍会遇到osd上数据不均衡的情况。 常规操作 当ceph集群出现 osd full的告警时，一般情况下我们先通过ceph osd df查看osd的利用率及权重等信息。 如果我们看到看到有不均衡的数据后，一般会将利用率高osd的权重调低，等待完成数据均衡后重新调回正常权重。 ceph osd reweight
ceph——数据修复/均衡速度测试
MC_dull_lj的博客
09-18 2721
以副本环境的数据均衡为例，以下需要注意： 1、写入数据时，用脚本监控写入数据量（ceph df）到达预定值，开始、停止cosbench cosbench支持命令行。进入cosbench目录，用./cli.sh <action: submit|cancel|info>来开始、结束任务 [root@node-105-84 ~]# cd 0.4.2.c4/ [root@nod...
ceph 数据重平衡 会出现慢节点吗
07-15
对于 Ceph 数据重平衡，确实可能会出现慢节点的情况。当数据在集群中进行重平衡时，Ceph会尝试将数据从负载较高的节点移动到负载较低的节点，以实现数据均衡。 然而，由于网络带宽、磁盘速度等因素的限制，某些节点...
Ceph集群扩容及数据再均衡原理分析
李姓门徒
05-14 833
用户文件在Ceph RADOS中存储、定位过程大概包括：用户文件切割成对象、对象映射到PG、PG分组PGP、PG映射到OSD。这些过程中，可能涉及了大量概念和变量，而其实它们大部分是通过HASH、CRUSH等算法计算出来的，初始参数可能也就只有这么几个：用户文件inode、layout、crush_map等。Ceph所有组件和客户端通过计算就能得到所有对象的Location，而且只要输入的参数信息不变，Location就不会变，另外通过PG作为中间层将对象与OSD解绑，使得对象在Ceph RADOS分布更均
ceph数据读写原理
08-24
ceph read
ceph 数据均衡(balance)
baidu_39240038的博客
03-26 3880
设置集群仅支持 Luminous（或者L之后的）客户端 我采用octopus: ceph osd set-require-min-compat-client octopus 或 ceph osd set-require-min-compat-client octopus --yes-i-really-mean-it 步骤： 1.获取集群当前的osdmap信息 为防止文件混乱，特意新建了文件夹 (在cephadm shell中执行) mkdir /root/data ceph osd getmap -o
ceph学习笔记之七 数据平衡
weixin_33766805的博客
07-31 878
数据平衡 当在集群中新增一个OSD设备时，整个集群将会发生数据迁移使数据重新分布达到均衡。在Ceph集群中数据迁移的的基本单位是PG。其实在迁移过程中是将PG中的所有对象作为一个整体来进行迁移。数据迁移触发流程： 1、当新加入一个OSD时，会改变系统的CRUSH Map，从而引起对象映射过程中的变化； 2、PG到OSD的映射关系发生了变化，从而引发数据的迁移。 当cep...
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了
zerotoall的博客
01-04 1640
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了 要求版本：L版以上 centos系统： ceph osd getmap -o osd_map osdmaptool --test-map-pgs --pool 5osd_map #这里6是我的数据盘pool的id号，自行寻找 osdmaptool osd_map--upmap output_upmap--upmap-pool mydata --upmap-max 100 --upmap
ceph 数据均衡调整
云时代-IT运维
05-26 2107
当CEPH 数据不一致时，需要对ceph pg的数据进行平衡 1:检查数据分布是否均衡 #查看osd使用情况 # # ceph osd df tree #查看osd_num,PGS, %USE # ceph osd df tree | awk '/osd\./{print $NF" "$(NF-1)" "$(NF-3) }' osd.0 up 0.92 osd.3 up 1.02 osd.1 up 0.90 osd.4.
浅谈ceph之数据均衡
qq_30762005的博客
10-11 432
在loongarch架构的3c5000龙芯服务器上使用ceph集群时，观察到所有节点的osd数据不均衡问题，根据此现象查找解决问题。
ceph集群数据均衡工具balancer
最新发布
qq_43604376的博客
06-04 1062
ceph balancer
记一次ceph-osd磁盘写满1 full osd(s)实操
u011012217的博客
12-22 2516
记一次ceph-osd磁盘写满1 full osd(s)实操
ceph写满，nearfull osd解决思路
wxiaodefu的博客
03-20 998
2，防止数据均衡过程中，其他osd 数据out，及deep-scrub操作出现大量block IO。3，集群节点，执行ceph osd reweight-by-utilization 。5，执行完成ceph osd df | sort -rnk 7查看osd使用率，确保osd都在85以下，没有达到预期，重复执行2-3。步骤：1，执行ceph osd df可以看到当前的pg在osd上分布情况以及使用率情况。办法：调整osd weight权重，进行数据均衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值