![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ceph
Man_In_The_Night
这个作者很懒,什么都没留下…
展开
-
ceph 笔记整理
ceph 查看、修改 crushmap直接通过 ceph 命令1、创建对应的rootceph osd crush add-bucket ssd rootceph osd crush add-bucket sas root2、创建对应的hostceph osd crush add-bucket node-4-sata hostceph osd crush add-bucket node-5-sata hostceph osd crush add-bucket node-4-ssd hostc原创 2020-12-31 16:49:41 · 462 阅读 · 0 评论 -
ceph 查找 rbd image 存储位置
环境:centos7.6, ceph luminiousceph 同时提供对象存储、块存储、文件存储三种接口,但本质上都是对象存储,也就是说一个rbd image 实际上包含了多个对象(默认情况下是 iamge_size/4M)查看 pg 对应的 osdceph pg dumpceph pg map 3.5d查看 pool 中的 image[root@ansible002 ~]# rbd list k8skubernetes-dynamic-pvc-0f4455a2-f96a-11e9-9原创 2020-12-31 16:46:14 · 1006 阅读 · 0 评论 -
ceph osd 磁盘损坏处理
(一) 从 ceph 删除该 osd1、登陆 ceph mon 节点,查看坏掉的 osd2、mon 上执行 out osd.xceph osd out osd.x3、从 crush map 中删除 osd.x,防止它再接受数据ceph osd crush remove osd.xceph auth del osd.xceph osd rm osd.x[root@bakmtr01 ~]# ceph -s cluster: id: 0e38e7c6-a704-41原创 2020-12-30 16:23:30 · 2447 阅读 · 0 评论 -
python 多进程上传下载 ceph 对象存储
centos7.6,python 2.7.5,ceph luminious1、多线程上传脚本# !/bin/python# -*- encoding:utf-8 -*-endpoint_url = "http://192.168.1.10:6780";access_key = "xxx"secret_key = "xxx"# bucket name in ossdefault_bucketname = "lalala"class S3Operate(object): def _原创 2020-12-29 14:54:11 · 790 阅读 · 4 评论 -
kubernetes部署 rook ceph
环境: centos7.6, kubernetes 1.15.3, rook 1.3.4部署 rook ceph1、部署 rook ceph官网下载 rook、解压后, cd rook-1.3.4/cluster/examples/kubernetes/ceph部署 crdkb apply -f common.yaml部署 operatorkb apply -f operator.yaml修改 cluster.yaml,主要修改 useAllNodes: false,useAllDevi原创 2020-11-04 18:56:27 · 776 阅读 · 0 评论 -
ceph pg Troubleshoting
Troubleshoting pgstuck placement grouppg 显示 degraded 和 peering 状态很正常,这些信息一般表明对失败的恢复过程采取的正常行动。但是,如果 pg 长时间处于这种状态,表明可能问题很严重。inactive:pg 太长时间没有 active(pg 无法读写)unclean:pg 太长时间没有 clean (pg 没有完全从之前的失败中恢复)stale:ceph-osd 长时间没有报告 pg 的状态,表明存储该 pg 的所有节点可能 down原创 2020-10-15 08:59:37 · 1129 阅读 · 0 评论 -
ceph radosgw 对象存储 配额控制
uat 为 rgw 用户设置用户配额radosgw-admin quota set --quota-scope=user --uid=uat --max-objects=10 --max-size=1024启用用户配额radosgw-admin quota enable --quota-scope=user --uid=uat禁用用户配额radosgw-admin quota-disable --quota-scope=user --uid=uat设置 bucket 配额rados原创 2020-09-30 15:27:40 · 1219 阅读 · 0 评论 -
记一次 ceph 问题引起的 openstack vm 启动失败
环境:私有云使用 kolla 部署的 openstack rocky,存储使用 ansilbe-ceph 部署的 ceph。1、openstack 中部分 vm 启动失败2、查看 vm 实例控制台日志,发现出现 了 mount 延时。正好收到 ceph osd 522 down 的告警,怀疑是 osd down 引起的 vm volume 挂载失败。但是 ceph volumes pool 是 3 副本,挂掉一个 osd 不应该影响 openstack volume 挂载失败。...[ 1323.3原创 2020-09-30 15:10:06 · 933 阅读 · 0 评论 -
pvs Error reading device /dev/xxx at 0 length 512.
背景:ceph osd 服务器磁盘坏掉,将坏掉的 osd 从集群中踢出后, pvs 报错. 系统 centos7,ceph luminous1、查看错误信息[root@cmp15 ~]# pvs Error reading device /dev/ceph-d6500029-3aca-4d5d-8ca1-581f4ea0c86c/osd-data-dfabf3a8-083d-4f76-8edc-318f2c156bf8 at 0 length 512. Error reading device原创 2020-09-30 15:04:50 · 3648 阅读 · 0 评论 -
控制 ceph 集群中 osd 内存使用量
测试 ceph 集群的性能可以在修改前后,做 ceph 集群性能测试,进行对比新增 uat poolceph osd create uat 128 128write 测试(先测试 write,不然 seq 会报错)rados -p uat -t 30 bench 30 write --no-cleanup --run-name xxx seq 测试rados -p uat -t 30 bench 30 seq --run-name xxx清除 uat pool 中 benchmark原创 2020-09-24 15:42:28 · 3013 阅读 · 0 评论 -
ceph 对象存储加密
环境:ceph 版本操作系统:ceph version 12.2.13 luminous ,centos7.6,s3cmd version 2.1.0ceph 默认是没有加密存储的,官方说支持 server-side encryption, 但是还没找到具体的文档,主要卡在 https 报错。也可以参考 https://cloud.tencent.com/developer/article/1171490, 用 http 传输,但是会面临数据传输不安全的风险,官方是说 server-side encr原创 2020-08-29 17:00:49 · 914 阅读 · 0 评论 -
Ceph-ansible 安装 ceph (rbd + rgw + cephfs)
实验环境:3 台 monitor 节点:centos7.6 操作系统3台 osd 节点: centos7.6 操作系统,每台 20 块磁盘所有节点上配置好 ceph yum repo 源(luminous 版本)ceph 集群结构:集群只开启 rbd、rgw、cephfs 服务(块存储、对象存储网关),3 个 monitor 节点还充当 rgw、mgr 节点1、github 下载版本 ceph-ansible-stable-3.2 并解压ceph-ansible2、按照 requirement原创 2020-07-15 14:20:22 · 870 阅读 · 0 评论 -
Ceph 增加文件存储
ceph-ansible 项目 infrastructure-playbooks 有 add-osd, add-mon, shrink-osd, shrink-mon, shrink-rgw, shrink-mds, shrink-mgr,缺少 add-mds , add-rgw 等脚本,手动部署也很快环境:ceph luminous、cenos7、k8s1.11.51、配置 ceph yum 源[root@uat-mtr01 ~]# cat /etc/yum.repos.d/ceph_stable.原创 2020-07-15 11:48:55 · 572 阅读 · 0 评论 -
Ceph-ansible 安装 ceph (rbd + rgw)
实验环境:3 台 monitor 节点:centos7.6 操作系统3台 osd 节点: centos7.6 操作系统,每台 20 块磁盘所有节点上配置好 ceph yum repo 源ceph 集群结构:集群只开启 rbd、rgw 服务(块存储、对象存储网关),3 个 monitor 节点还充当 rgw、mgr 节点1、github 下载版本 ceph-ansible-stable-3.2 并解压ceph-ansible2、按照 requirement.txt 要求安装 ansible 2.原创 2020-07-15 11:39:18 · 4005 阅读 · 0 评论