CEPH
oba没有马
Make it possible, whatever what it is!
展开
-
构建CEPH deb包
注:操作系统为UBUNTU14.4,3.X的内核,安装的CEPH版本为0.94.5(hammer) 思路 根据github上下载的CEPH源码,然后打包成deb包。通过dpkg –i指令替换ceph-deployinstall安装ceph的包,其他直接用ceph-deploy部署集群。或者是将打包的deb包发布本地repo,替换掉ceph-deploy的网络repo,按照...原创 2017-08-15 21:04:53 · 1248 阅读 · 0 评论 -
CEPH J版本新特性RGW Multi-tenancy详解
CEPH官方对RGW Multi-tenancy的介绍如下RGW Multi-tenancy 多租户特性允许创建使用不同的存储桶和用户,前提是将其分离在不同的租户之下。例如,允许不同租户下的Swift API的用户,都可以创建形如“test”,“trove”这样很容易重复的桶名。 从Jewel版本开始,每个用户和桶都在租户之下。为了兼容性,RGW提供原创 2018-02-07 14:33:39 · 2054 阅读 · 0 评论 -
ceph 查看每个osd的pg个数
ceph pg dump | awk ' /^pg_stat/ { col=1; while($col!="up") {col++}; col++ } /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0; up=$col; i=0;...转载 2018-04-08 17:32:42 · 4161 阅读 · 0 评论 -
【CEPH】通过iscsi连接到CEPH的RBD(客户端包括windows和linux)
ceph通过iscsi协议使用rbdISCSIiSCSI target设备命名规则iSCSI target名称必须是全球唯一的,其格式为: iqn.< yyyy-mm >.< tld.domain.some.host > [:< identifier >] iqn.< 年份-月份 >.< 域名反写 > [: < 设备识别...原创 2018-05-15 20:30:41 · 9792 阅读 · 0 评论 -
【CEPH】对象存储入门——从概念到基本命令,再到源码分析
目录 三种存储本质区别为什么需要对象存储?核心概念用户存储桶对象架构HTTP-RGW IO路径RGW-RADOS IO栈FRONTENDrados对象和rgw对象对比各个池的作用.rgw.root.rgw.control.rgw.rgw.gc.users.uid.users.rgw.buckets.index.rg...原创 2018-06-29 11:32:45 · 8425 阅读 · 0 评论 -
【CEPH】针对RBD客户端libvirt开启admin socket的日志调试功能
目录CEPH端配置参考网址APPArmor概述访问模式参考网址配置过程环境信息查看rbd客户端信息配置ceph创建目标路径,并修改权限重启服务验证排错针对单个rbd块开启日志查看rbd的参数配置信息设置日志等级查看perf信息 CEPH端配置 如果想针对某个RBD客户端开启日志调试功能,可以选择在...原创 2018-07-23 11:29:26 · 2400 阅读 · 0 评论 -
理解 QEMU/KVM 和 Ceph(2):QEMU 的 RBD 块驱动(block driver)
目录理解 QEMU/KVM 和 Ceph(2):QEMU 的 RBD 块驱动(block driver)1. QEMU 的 RBD 块驱动1.1 QEMU 存储设备1.2 QEMU 存储栈1.3 QEMU 的 Ceph RBD 块设备驱动概述1.4 QEMU 的 qemu_rbd_open 函数2. 各种情况下的测试结果2.1 打开 librbd log 和 adm...转载 2018-07-19 10:36:52 · 2378 阅读 · 0 评论 -
【CEPH】修改osd journal的大小
环境ceph版本:0.94.5操作系统:Ubuntu 14.04osd存放路径:/var/lib/ceph/osd/ceph-${i}/ 背景 osd的journal大小由参数osd_journal_size控制,但是这个参数只能针对于新创建的OSD生效,对已经创建好的OSD的不生效,具体源码分析有空再补上。但是如果只想修改osd journal的大小,还得经过重做O...原创 2018-08-09 13:42:20 · 4684 阅读 · 0 评论 -
【CEPH】RBD mirror功能测试体验
RBD mirror功能介绍 rbd mirror就是集群间数据块设备之间的备份。这个功能可以实现集群级别的备份,跨地理位置的数据备份。可以是主-备模式,也可以是主-主模式。 如下图所示 在这个 实现过程中,加入了新的守护进程rbd-mirror,负责集群到集群直接的数据同步。Jewel版本中,还只能实现一对一的备份。配置及测试过程 前提l 两个集群能相互通讯l ...原创 2018-02-11 17:42:33 · 3862 阅读 · 0 评论 -
【CEPH】 ERROR: error creating empty object store in /var/lib/ceph/osd/ceph-0: (13) Permission denied
问题详细LOGroot@j-2:/etc/ceph# ceph-deploy osd prepare j-2:/var/lib/ceph/osd/ceph-0[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf[ceph_deploy.cli][INFO ] Invoked (1.5.39...原创 2018-02-11 13:58:45 · 4962 阅读 · 0 评论 -
openstack基于CEPH的共享盘实现方案
首先,让我们先了解下librbd I/O的协议栈 其中VM根据libvirt通过配置文件来调用QEMU的。而块存储RBD,其实是CEPH集群的一个client而已。所以,可以控制OSD中的/etc/ceph/ceph.conf中的[client]字段的rbd_cache来决定是否开启RBD的缓存。对应图上的关系则是QEMU对应服务nova-compute,Ceph Clus原创 2018-02-05 21:31:24 · 4008 阅读 · 0 评论 -
【CEPH】scrub error解决方案
问题描述原因分析 数据的不一致性(inconsistent)指对象的大小不正确、恢复结束后某副本出现了对象丢失的情况。数据的不一致性会导致清理失败(scrub error)。 CEPH在存储的过程中,由于特殊原因,可能遇到对象信息大小和物理磁盘上实际大小数据不一致的情况,这也会导致清理失败。不一致性校验失败解决方案原创 2018-02-02 20:14:46 · 10491 阅读 · 1 评论 -
【CEPH】RBD拍平原理和shell脚本测试
原理测试数据 三个块大小分别为10G,30G,50G测试脚本 #!/bin/bashfor size in 10240 30720 51200do echo "****************************************************" echo "test rbd ${s原创 2018-02-02 20:24:30 · 1129 阅读 · 0 评论 -
Cinder无法连上CEPH集群原因分析和解决
问题描述 Cinder服务无法连接到CEPH,导致cinder_volume服务无法启动。原因分析 Cinder用户对应的ceph用户没有连接volumes池的权限。解决办法 部分pool对应的ceph用户对应关系如下pool名称ceph用户i原创 2018-02-02 20:31:44 · 1365 阅读 · 0 评论 -
Cephx源码浅析
Ceph X protocol Ceph的Auth认证服务由MON中的AuthMonitor模块提供,随MON启动而启动。启动时会检查认证服务是否为cephx,如果是将加载admin.keyring(里面包含客户端服务器共享的密钥)。当服务器接受请求后会开启一个会话,并初始化一个server_challenge,该值会传输给请求授权的客户端。客户端接收到server_challenge原创 2018-02-05 20:42:44 · 2562 阅读 · 0 评论 -
ceph df中pool对应的max avail计算方式
目录 计算公式举例结论源码跟踪取值打印max avail处计算osd除于权重占比值osd的权重占总权重的占比计算函数源码打印测试计算公式 参数说明:max_avail:最大可用空间min():取括号范围内的最小值osd_avail:表示某个编号osd对应的可用空间weight:表示对应某个编号osd对应的权重值:表示一个rul...原创 2019-01-28 17:28:34 · 2745 阅读 · 0 评论