Terry Tsang

ceph 15 版本pg auto scaling 功能的理解

ceph 故障 1 pool(s) have non-power-of-two pg_num

常见 osd ops 返回信息说明

cephrgw + s3fs mount 测试

ceph osd 故障恢复备忘

ceph L 版本小版本升级 为 ceph L 版本升级至 N 版本做准备 L 版本升级至 N 版本步骤同理

ceph mon 故障记录

目的修复故障osd现象检测方法磁盘检测可以通过下面命令获取当前 ceph 磁盘与 osd 对应信息命令行只显示本地磁盘及对应的 OSD 信息下面输出只列出本地两个 OSD 磁盘例子# ceph-volume lvm list ====== osd.6 ======= [data] /dev/ceph-1ebbbbb6-c0ce-4723-b986-32c6f43f1bdf/osd-data-fd52f4a5-b419-4d23-a32c-0963b55beb1f

目标创建 ceph filestore用户授权filestore 需要用到 client.bootstrap-osd 用户，因此需要先添加用户权限# ceph auth get-or-create client.bootstrap-osd mon 'allow profile bootstrap-osd'# ceph auth get-or-create client.bootstrap-mds mon 'allow profile bootstrap-mds'# ceph auth

目的对 mgr 服务进行扩容缩容为了进行新机房迁移转呗前提参考 ceph mon 迁移步骤 已经完成了 ceph mon 迁移步骤新增 mgr删除旧机房 mgr 即可角色主机名IP旧 mgrns-storage-0201031.1.20.103旧 mgrns-storage-0201041.1.20.104旧 mgrns-storage-0201051.1.20.105新 mgrns-storage-0200501.1.20.

目的用于机房迁移步骤ceph mon 扩容 (新机房)ceph mon 缩容 (旧机房)ceph osd 物理迁移并更换 IP 重新加入 ceph 集群ceph mon 扩容通过表格，参考主机信息角色主机名IP 地址原monns-storage-0201031.1.20.103原monns-storage-0201041.1.20.104原monns-storage-0201051.1.20.105新monns-storage-0

目的kubenetes 后端使用 ceph rbd 作为 pod 目录存储当 pod 存储空间不足，对 rbd 共享存储进行扩容扩容做到用户无感知参考kubernetes 直接调用 ceph 作为后端存储其他相关的 kubenetes 存储部分信息索引说明名称信息说明cephpoolkbecephcephuserterrykubenetesnamespacekubeceph简单步骤说明说明操作备注ceph 搭建

前提centos7 + qemu-2.x ( centos 默认版本)openstack icehourse (其他版本同理)ceph 后端存储目的假如不限制 ceph io , 则一两个用户进行无限制数据 IO 压测使用， 则可以打爆整个 CEPH 集群避免资源抢夺， 充分合理使用 IO 资源QOS 限制方法cgrloupcgroups blkio控制器支持块设备...

说明当前 ceph 网络环境如下public network = xx.xxx.208.0/22 <外部网络, 与 client 沟通>cluster network = xxx.xx.128.0/21 <内部网络, 与 osd 之间沟通>目标切换网络环境public network = xxx.xx.128.0/21 ...

环境参考 手动部署 ceph 环境说明 (luminous 版)目标 /dev/sdm 作为系统盘 /dev/sdn 作为 journal ssd disk 用于加速 journal 写入, 提高 osd 能力 /dev/sda ~ /dev/sdl 每个 SATA 盘 独立 raid0 (6TB) 用于 osd data disk 对 /dev/...

环境参考 手动部署 ceph 环境说明 (luminous 版)模板创建脚本ceph.conf.template[global]fsid = $cephuuidmon initial members = $cephmonhostmon host = $cephmonipaddrpublic network = $cephmonnetworkcluster networ...

环境说明CentOS Linux release 7.2 (Core)主机名 客户连接 数据同步 mon addr data addr osd journal osd diskcephsvr-128040 xx.199.128.40 xxx.20.128.40 bond0 bond1 对 sdn 划分独立分区利用 sda ~ sdj 每个磁盘作为一个独立 ...

架构与部署openstack 与 ceph (架构) openstack 与 ceph (monitor初始化) openstack 与 ceph (osd 部署) openstack 管理三十八 - ceph 与 crushmap openstack 管理二十二 - cinder 连接多个存储 backend openstack 管理二十三 - nova comput............

目标 使用 ceph luminous 版新特性 手动部署 mgr 完成 ceph 监控 新建用户 创建用户 openstack 用于 MGR 监控 [root@cephsvr-128040 ceph]# ceph auth get-or-create mgr.openstack mon 'allow *' osd 'allow *' mds...

目的ceph 作为独立的后端存储利用 kubernets 连接该 ceph 存储ceph 自行独立管理kubernets 只需要获取连接 ceph 的 mon 地址， 只需要具备连接到该 ceph 的用户权限即可优点ceph 维护， 管理比较灵活多个 kubernets 可以连接到相同的一个 ceph 集群中概念PVpersistentvolume（pv） 集群中由管...

对 ceph pool 进行管理ceph 下利用命令行对池管理显示池 参考下面命令可以查询当前 ceph 中 pool 信息[root@cephsvr-128040 ceph]# rados lspoolsvolumes[root@cephsvr-128040 ceph]# ceph osd lspools1 volumes,[root@cephsvr-128040 ceph]# ceph...

目的1. 利用 golang 连接 ceph 存储 2. 输出 json 数据返回连接方法参考 git 官方地址获取 go-ceph 包方法go get github.com/ceph/go-ceph环境go 版本[root@ns-yun-020049 go]# go versiongo version go1.11.2 linux/amd64GOPATH 环境...

目的1. 利用 golang 调用 ceph 存储 2. 获取 ceph json 数据并进行处理 3. 利用 gjson 包对 json 数据进行处理 参考golang ceph 连接方法json 处理gjson特点语法简单功能多样化可以减少代码量缺点无法从代码中得知 json 结构增加了代码维护难度需要有完善的开发文档才行获取参考 g...

目的1. 利用 golang 调用 ceph 存储 2. 获取 ceph json 数据并进行处理 3. 利用 struct 结构对 json 数据进行处理 参考golang ceph 连接方法struct 处理优点结构清晰代码维护方便缺点需要预定义 struct 结构只能够对已知的 json 结构创建对应的 struct如果每次 json 输出...

说明存储初始化部署 rook存储初始化常见存储磁盘结构全部 ssd 磁盘组成 (推荐)ceph 数据存放独立 ssd 硬盘， journal 数据存放至独立 ssd 硬盘 ( 不知道 rook 是否支持)ceph 数据及 jouranl 数据存放至相同 SSD 物理硬盘 ( rook 支持)ssd 硬盘与 sata 硬盘混搭 (推荐)ceph 数据存放至 sata...

说明通过 yaml 创建 ceph pool通过 yaml 创建 pvc通过 yaml 调用 pvc 连接 pod创建 poolkubernets 提供的存储接口支持参考 kubetnetes 官方文档官方文档中提到了很多种不通的存储后端支持, 例如包括了下面几种常见的后端AWSElasticBlockStoreAzureDiskAzureFileCinderCeph...

说明对 ceph cluster 进行扩容操作ceph/rook 集群配置查询参考之前创建 rook 集群 yaml 中 kind 字段kind: CephCluster可以通过下面命令查询集群配置信息[root@ns-yun-020065 ceph]# kubectl -n rook-ceph get CephClusterNAME DATADIRHOSTPAT...

说明···kubernetes 连接 ceph 作为后端存储对 PersistentVolumeClaim 进行 qos 限制···参考参考 ceph 官方文档rbd qos iops limitDescription: The desired limit of IO operations per second.Type: Unsigned IntegerRequired: N...

目的利用 crushmap ， 把不同的 osd 存放到不同的分组中不同的 ceph pool 独立使用到不同的 crushmap 分组 （即使用不同的 osd 磁盘）从物理上隔离了不同的 pool 数据读写 IOceph 结构参考 hostAhostBhostC备注 osd.0osd.4osd.8把 osd0 ~ osd.11 划分到 root=default 根中只...

目的在 kubernetes 中调用 VMIVMI 可以运行 centos, windows 镜像本地数据盘的使用方法kubernetes 连接 ceph , 调用 RBD 作为 VMI 数据盘的使用方法网络说明如果外部网络可以直接访问到 VMI 建议使用 OVS + netplugin 平面网络模型如果只用 VNC 连接到 VMI， 那么可以使用 flannel 网络使用私有...

参考报警信息[root@hh-yun-puppet-129021 ~]# ceph health detailHEALTH_WARN mon.hh-yun-ceph-cinder026-128076 low disk spacemon.hh-yun-ceph-cinder026-128076 low disk space -- 30% avail

目的模拟 ceph (luminous 版) data disk 故障修复上述问题

目的利用 rbd 文件读写, 对 ceph 集群 io 进行测试通过参数调整, 控制 IO 读写速度检测 SSD 在日志盘进行读写时候是否会达到瓶颈

目标 ceph recovery 时会占用大量带宽 本文主要调研一下如何控制, 主要降低 ceph recovery 时的速度, IO 能力 查询某个 osd 当前最大读写能力[root@cephsvr-128214 ~]# ceph tell osd.12 bench{ "bytes_written": 1073741824, "blocksize...

目标 以 ceph 0.87 为例 ceph-12.0 版本中， 默认管理员无法删除池 管理 ceph 中的存储池 保留 rbd 池 创建 volumes 池 删除其他存储池 增加 pg_num 数量 查询当前池方法[root@cephsvr15-128055 ~]# ceph osd lspools0 ...

目的 分离 ceph data 与 journal 位置环境参考 ceph 架构[root@ceph-gw-209214 ~]# ceph osd tree# id weight type name up/down reweight-1 12 root default-2 3 host ...

记录 ceph 扩容事件

目的 分析并解决 backfill_toolfull 故障前提 执行了 ceph 扩容 出现下面故障信息# ceph -s cluster xxxxxxxx-8792-4948-b68f-2fcea75f53b9 health HEALTH_WARN 13 pgs backfill_toofull; 1 pgs degrade...

故障发生时间: 2015-11-05 20.30故障解决时间: 2015-11-05 20:52:33故障现象: 由于 hh-yun-ceph-cinder016-128056.vclound.com 硬盘故障, 导致 ceph 集群产生异常报警故障处理: ceph 集群自动进行数据迁移, 没有产生数据丢失, 待 IDC 同事更换硬盘后...

参考 openstack 管理三十八 - ceph 与 crushmap ceph (luminous 版) crush map 管理常见 crush map 管理方法 获得默认 crushmap (加密) ceph osd getcrushmap -o crushmap.dump 转换 crushmap 格式 (加密 -> ...