![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Ceph
Yannick_J
Yes-亚历山大的陀螺
展开
-
Ceph 2018用户调查之我见(Ceph China 小编)
个人点评|作者:耿航总体来说调查还是非常全面的,涵盖了地区、用户行业、使用场景、部署方式、硬件环境、集群环境、版本、供应商、管理监控工具等等。综合性分析:从报告中来看,大部分地区集中在欧洲和中东地区,其次是美国,亚太地区居然排名第三,根据这么多年我在国内的布道经验来看,这个数据不太符合实际,我觉得有几个原因,第一和国内环境有关,做Ceph的都比较低调,很少出来讲;第二覆盖范围有关,因为是开源社区发起的用户调查,其范围难以覆盖大多数(这里我们社区去年也第一时间转发了社区的调查报告)。集群使..转载 2020-07-06 15:26:35 · 348 阅读 · 0 评论 -
删除 Ceph 集群里的某个节点的全部OSD (2 of 3)
前言:如果你的ceph集群的数据只存在在该节点的所有OSD上,删除该节点的OSD会导致数据丢失。如果集群配置了冗余replication或者EC,需要做pg 修复。出于数据安全考虑,请一定,一定,一定,备份好你要删除的OSD上的数据。这里一共有3篇文章讲述删除 Ceph 集群里的某个节点的全部OSD,其中前面两种做法都是不安全的。(写在这里是因为CSDN上有其它blog介绍了这两种方法,但...原创 2019-10-23 17:51:56 · 1843 阅读 · 0 评论 -
删除 Ceph 集群里的某个节点的全部OSD (1 of 3)
前言:如果你的ceph集群的数据只存在在该节点的所有OSD上,删除该节点的OSD会导致数据丢失。如果集群配置了冗余replication或者EC,需要做pg 修复。出于数据安全考虑,请一定,一定,一定,备份好你要删除的OSD上的数据。这里一共有3篇文章讲述删除 Ceph 集群里的某个节点的全部OSD,其中前面两种做法都是不安全的(写在这里是因为CSDN上有其它blog介绍了这两种方法,但并...原创 2019-10-23 16:53:52 · 2202 阅读 · 0 评论 -
Ceph集群搭建系列(四):CephFS client客户端使用CephFS
一、前言:CephFS用户使用报告根据去年2018的Ceph社区用户报告,使用CephFS Client已经略超RGW,用户数据如下:使用CephFS虽然performance不好,但在文件备份和文档管理的应用方面已基本满足需求,另外CephFS是支持多节点挂载(例如,K8S应用中),这让对performance要求不高的Ceph用户使用CephFS的需求上升。CephFS的应用场景调...原创 2019-07-16 15:20:44 · 4891 阅读 · 0 评论 -
Ceph 进阶系列(一):Ceph日志和调试
简介:本文参照Ceph 官方文档Ceph子系统日志的设置和调试,主要介绍了Ceph日志分类(一个分两类log file level和memory level)、怎么设置日志级别、日志存在哪个目录等日志和调试一般来说,你应该在运行时增加调试选项来调试问题;也可以把调试选项添加到 Ceph 配置文件里来调试集群启动时的问题,然后查看 /var/log/ceph (默认位置)下的日志文件。...原创 2019-07-12 16:52:18 · 10937 阅读 · 0 评论 -
Ceph测试系列(一):Ceph 应用方案的服务器硬件选型 (2 of 2)
一、前言redhat官网给出不同应用场景时,其推荐的Ceph集群服务器硬件配置(包括CPU/Memory/Disk/Network)。仅作为服务器配置选择时参考,不做推荐使用。场景包含如下:场景一侧重IOPS的,例如实时性要求高的,但数据量不大的。比如订单的生成。场景二侧重Throughput的,吞吐量大,但IOPS延时性要求适当。例如,实时流。场景三侧重容量和价格Cost/C...原创 2019-08-30 17:40:21 · 1389 阅读 · 0 评论 -
Ceph 对 K8s 说,我们(四):K8S通过RBD使用Ceph集群
转载:k8s(十二)、分布式存储Ceph RBD使用前言上篇文章介绍了k8s使用pv/pvc 的方式使用cephfs, Ceph 对 K8s 说,我们(三):K8S通过Cephfs使用Ceph集群 。在本篇将测试使用ceph rbd作持久化存储后端创建RBD/SC/PV/PVC/POD测试1. 静态创建:首先必须在ceph端创建image,才能创建pv/pvc,再在pod里...转载 2019-07-05 09:25:07 · 3394 阅读 · 0 评论 -
Ceph 对 K8s 说,我们(三):K8S通过Cephfs使用Ceph集群
转载:k8s(十一)、分布式存储Cephfs使用前言:首先解释一下pv/pvc的相关概念:PV【persistentVolume】:是k8s抽象化的存储资源,主要包括存储能力、访问模式、存储类型、回收策略等关键信息.PV是k8s实际对接存储后端的真正入口PVC【PersistentVolumeClaims】:是对PV资源的一种声明,pvc绑定实体资源pv后,pod通过绑定pvc来使...转载 2019-07-04 12:03:50 · 4487 阅读 · 0 评论 -
Ceph 对 K8s 说,我们(二):K8S的 volume 介绍
一、为什么要有Volume?容器中的磁盘文件是短暂的,对于在容器中运行的持久性应用程序来说,这会带来一些问题。首先,当容器崩溃时,Kubelet将重新启动它,但文件将丢失,而容器以干净状态开始。第二,在pod中一起运行容器时,通常需要在这些容器之间共享文件。Kubernetes的volume抽象解决了这两个问题。二、介绍Volume1. 有哪几种Volume类型?根据数据是否持久保...原创 2019-07-03 12:46:27 · 2351 阅读 · 0 评论 -
Ceph 进阶系列(一):Ceph配置参数的默认值在哪里?
ceph版本:~$ ceph --versionceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)我们知道安装完ceph后,它的配置文件在/etc/ceph/ceph.conf. 用户可以通过ceph-config -D命令来dump出所以的配置参数。那么从源码哪里可以...原创 2019-06-27 13:53:58 · 1435 阅读 · 0 评论 -
Ceph 入门系列(一):Ceph版本的发布策略及近期版本
Ceph版本发行的策略是:x.0.z - 开发版(给早期测试者和勇士们)x.1.z - 候选版(用于测试集群、高手们)x.2.z - 稳定、修正版(给用户们)各个版本发布的时间如下:Nautilus 2019年3月(v14.2.0 Nautilus released changelog)mimic 2018年5月Lumin...原创 2019-06-24 18:04:58 · 5985 阅读 · 0 评论 -
Ceph优化系列(三):osd_op_num_shards/threads_per_shard相关参数源码分析
转发:bluestore性能调优测试摘要:调节如下参数值,对比IOPS的变化:osd_op_num_shardsosd_op_num_shard_hddosd_op_num_shards_ssdosd_op_num_threads_per_shardosd_op_num_threads_per_shard_hddosd_op_num_threads_per_shar...转载 2019-06-24 16:43:52 · 3654 阅读 · 0 评论 -
Ceph集群搭建系列(三):Ceph 集群图形管理和监控
转载:ceph监控系统ceph监控系统ceph的相关项目提供了ceph监控和管理工具来监控信息 。本文简要介绍inkscope和calamari两种监控管理工具。通过本章我们可以学到Ceph官方提供的ceph-rest-api,并带领大家一步一步实现基于ceph-rest-api的Web监控管理工具。1. inkscope 工具 [inkscope]安装的ceph...转载 2019-06-18 10:26:10 · 2500 阅读 · 0 评论 -
Ceph测试系列(二):ceph性能测试fio工具(2 of 4)
目录1.使用 fio +rbd ioengine2.使用 fio +libaio ioengine3. 总结参考:1.使用 fio +rbd ioengine环境准备:1)如果是新版本的fio(>3.1),默认安装都已经支持rbd ioengine了。查看是否支持,如下:yjiang2@admin-node:~/Downloads/fio$ ...原创 2019-06-18 11:54:39 · 5723 阅读 · 0 评论 -
ceph命令系列(三):配置osd的osd_objectstore = filestore/blutstore
我使用的luminous版本12.2.11ceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)osd_objectstore 值默认是 filestore,修改成bluestore的步骤如下(mimic 版本后默认使用bluestore做后端存储):0. 查看osd节点的osd...原创 2019-06-26 10:12:59 · 1361 阅读 · 0 评论 -
Ceph 对 K8s 说,我们(一):K8S带上Ceph一起玩
一、前言:讲Ceph和K8S 前需要你了解下面的两篇文章,对K8S(ceph的新女友)和openstack(ceph的前女友)有所认识。K8S入门系列(一):Kubernetes的历史(由来)与架构 Ceph 入门系列(四) :CEPH与OPENSTACK二、Ceph作为后端分布式存储系统虽然Ceph的后端(OSD)是真正的对象存储分布式文件系统,但Ceph为Openstack提...原创 2019-07-02 14:27:17 · 8290 阅读 · 0 评论 -
2018年 Ceph 使用调查报告(摘录)
Ceph社区链接:Ceph-User-Survey-2018-Slides.pdf主要内容:Ceph的用户在哪些地域? 哪些组织在使用Ceph?为什么使用Ceph?使用多久了? Ceph集群使用的情况:包括集群容量的大小,节点个数,用的哪个版本,用的哪个OS平台? Ceph使用的硬件平台:包括处理器,存储介质,网卡 Ceph的应用领域分布比例 Ceph接口(CephFS/RGW/...原创 2019-07-08 09:57:22 · 709 阅读 · 0 评论 -
Ceph用户:中国用户统计表(2018年度)
云服务提供商 互联网行业 Ceph产品提供商 金融行业 媒体行业 交通运输 能源行业 游戏行业 UnitedStack 京东 H3C 飞贷金融 贵州广电 海航云 国家电网 完美世界 99Cloud 阿里 XSKY 平安科技 东方明珠 厦门航空 南方电网 网易游戏 ...原创 2019-08-06 11:04:05 · 4083 阅读 · 0 评论 -
Ceph优化系列(二):Ceph主要配置参数详解
转载:Ceph配置参数详解概述Ceph的配置参数很多,从网上也能搜索到一大批的调优参数,但这些参数为什么这么设置?设置为这样是否合理?解释的并不多本文从当前我们的ceph.conf文件入手,解释其中的每一项配置,做为以后参数调优和新人学习的依据;参数详解1,一些固定配置参数 123 fsid = 6d529c3d-5745-4fa5-be...转载 2019-06-24 15:22:06 · 6176 阅读 · 0 评论 -
Ceph集群搭建系列(前言):定制自己的 Ceph 配置文件路径
机器是要共享的,集群更会如此。这样才能达到资源利用率最大化。那么team 里每个人有自己的定制化配置和安装。这里就会涉及的如何定制自己的 Ceph 配置文件路径?能有多个配置路径吗?如果有,那它的优先级是怎么样的?用户可以设置自己的 $CEPH_CONF 变量;用户也可以配置多个 Ceph 配置文件的路径,其配置文件的路径优先级如下:$CEPH_CONF (就是 $CEPH_CONF 环境...原创 2019-07-19 10:31:35 · 717 阅读 · 0 评论 -
Ceph 里的 Tier和 RBD Cache的区别 (通俗易懂)
缓存的位置不同,tier是rados层在osd端进行数据缓存,也就是说不论是块存储、对象存储还是文件存储都可以使用tier来提高读写速度;rbd cache是rbd层在客户端的缓存,也就是只支持块存储。Rbd cache是客户端的缓存,当多个客户端使用同个块设备时(例如ocfs2),存在客户端数据不一致的问题。举个例子,用户A向块设备写入数据后,数据停留在客户自己的缓存中,没有立即刷新到磁盘,...转载 2019-09-29 17:26:34 · 1517 阅读 · 0 评论 -
Ceph 撸源码系列(二):Ceph源代码里的那些锁 std::mutex(2 of 3)
一、前言:Nautilus v14.2.4 里有一个Performance PRmsg/async: avoid put message within write_lock #20731 ,这个PR主要是把 for 循环里的m->put()的代码放到锁之外,来减少临界区里的代码,以提高performance。注:这个PR里由于要把put()代码分开,新增了Message *数组,用...原创 2019-09-27 15:23:29 · 962 阅读 · 0 评论 -
Ceph优化系列(四):RocksDB 使用 ARM 64 位 CRC32C 硬件优化指令
一、前言CRC32(A cyclic redundancy check 32)应用于校验,为了保证数据的正确性,采用的一种检错手段。CRC32C(CRC32 Castagnoli) 与 CRC32 不同的是它有多项式常数,也就是说生成的CRC表不同,而算法是一模一样.二、内容1. Ceph的当前版本nautilus(v14.2.2) 和 Ceph的master 分支中包含的 R...原创 2020-11-24 09:50:00 · 1899 阅读 · 0 评论 -
Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (2 of 2,luminous新特性)
从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、前言:上一篇Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (1 of 2,手动版)讲了复杂的手动版,如何让某个 pool使用特定的OSD设备。而luminous版本的新特性因为有磁盘智能分组功能,用户只需要用命令创建一个新的rule就...原创 2019-08-29 11:43:56 · 702 阅读 · 0 评论 -
Ceph 进阶系列(一):crush map文件里有些什么?
一、前言crush map 是什么? 请参考Ceph 进阶系列(一):一些基本概念(1 of 2,偏client端 ) 如何导出、查看一个Ceph集群的 crush map,请参考 Ceph 进阶系列(二):如何在指定的OSD 设备上创建 pool二、分析crush map下面是一个简单的Ceph集群里导出来的crush map文件,我们来分析一下它包含了哪些信息。# begi...原创 2019-08-28 11:51:54 · 968 阅读 · 0 评论 -
Ceph 撸源码系列(一):Ceph开源项目源代码的关键目录介绍
从GitHub上Clone Ceph项目,其(ceph version 12.2.11 luminous 版本)目录下主要文件夹和文件的内容介绍如下:1、一级根目录[admin]:管理工具,用于架设文档服务器等[debian]:用于制作debian(Ubuntu)安装包的相关脚本和文件[doc]:用于生成项目文档,生成结果参考http://ceph.com/docs/master/...原创 2019-08-14 14:00:16 · 1485 阅读 · 0 评论 -
Ceph 进阶系列(四):Ceph的纠删码特性 EC(Erasure Code)
从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、EC(Erasure Code)是什么?Ceph的纠删码特性EC:将写入的数据分成N份原始数据,通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中,并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...原创 2019-08-22 10:08:59 · 8639 阅读 · 0 评论 -
Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (1 of 2,手动版,早于luminous版本)
从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、前言:有很多场景,你需要在指定的 OSD 设备上创建 Ceph Pool。因为Ceph集群中允许使用混合类型的磁盘,比如一部分磁盘是NVME SSD,一部分是SATA HDD。如果针对某些业务需要高速磁盘SSD,而某些业务 HDD 就可以满足部署,在创建资...原创 2019-08-27 16:36:07 · 1985 阅读 · 0 评论 -
Ceph 进阶系列(三):谈谈 Ceph Cache Tier(Cache Pool) 的配置 、原理 和 源码分析
从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、Cache Tier(Cache Pool)是什么?在Ceph里创建pool时,可以设置一个pool为另一个pool的 cache 层,做缓存层的pool 称为 cache pool(也就是cache tier)。而真正存数据的pool就是我们常用的dat...原创 2019-08-19 17:56:24 · 3937 阅读 · 0 评论 -
Ceph可视化管理dashboard系列(一):安装和使用ceph-dash
可视化管理dashboard中推荐指数:*0. ceph-dash简介ceph-dash极其简单,提供类似ceph -s命令的信息及实时的IO速率等。1. 下载ceph-dashmkdir /ceph-dashcd /ceph-dashgit clone https://github.com/Crapworks/ceph-dash.git2. 安装python-pip(如...原创 2019-07-25 09:43:38 · 5188 阅读 · 0 评论 -
Ceph可视化管理dashboard系列(二):安装和使用luminous版本内置的dashboard
可视化管理dashboard中推荐指数:***一、请参考Ceph集群搭建系列(一):Ceph 集群搭建 搭建一个集群二、设置Ceph及配置mgr1. 添加mgrceph-deploy mgr create ubuntu-sebreceph mgr module enable dashboard查看状态$ ceph -s cluster: id: ...原创 2019-07-25 10:48:49 · 3673 阅读 · 0 评论 -
Ceph 入门系列(二):ceph组件简介
转载:ceph初识 一、什么是Ceph? Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能,它可靠性高、管理简便、并且是开源软件。 Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。Ceph ...转载 2019-05-20 16:55:08 · 3683 阅读 · 0 评论 -
2015年一些公司使用 Ceph 存储集群的情况
转载:我所了解的各公司使用的 Ceph 存储集群 (携程、乐视、有云、宝德云、联通等)首先这是一篇4年前的Ceph市场部分使用情况,给想对业务部署的筒子们了解下。Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。1. 携程(Ctrip)...转载 2019-05-30 08:59:31 · 319 阅读 · 0 评论 -
Ceph 撸源码系列(三):Ceph OSDC源码分析 (1 of 2)
转载:Ceph OSDC源码分析1.OSDC是什么OSDC其实是一个osd client模块的简称,在rbd和cephfs两个应用中都用到了,这个模块主要用来跟rados交互,这个模块里面完成了几个主要的功能:(1) 地址空间的转换:从rbd或者cephfs文件的一维地址空间转换到对象的三维地址空间(后面会讲到什么是三维地址空间,objectset,stripeno,stripep...转载 2019-05-27 17:21:03 · 5101 阅读 · 0 评论 -
Ceph 撸源码系列(三):Ceph OSDC源码分析 (2 of 2)
转载:Ceph OSDC源码分析(下篇)回顾:Ceph OSDC源码分析(上篇)数据分片分析对象分片跟objectextent的对应关系有点复杂, 听小甲慢慢分析。因为要使用OSDC就要用到用户态的客户端,就是使用fuse,但是内核态的fuse的模块对读写数据大小是进行了限制,写一次最大是4K,读一次最大是128K,也就是说我们如果像我们列子中要读取文件中1M到6M之内的内容不是一...转载 2019-05-27 17:48:14 · 1952 阅读 · 0 评论 -
SPDK简介(其与Ceph rbd的关系)
转载:SPDK简介SPDK(Storage Performance Development Kit)是Intel发布的存储性能开发工具集。简介固态存储设备正在取代数据中心。目前这一代的闪存存储,比起传统的磁盘设备,在性能(performance)、功耗(power consumption)和机架密度(rack density)上具有显著的优势。这些优势将会继续增大,使闪存存储作为...转载 2019-05-23 15:23:54 · 3435 阅读 · 0 评论 -
Ceph优化系列(一):Ceph架构及性能优化
转载:Ceph架构及性能优化对分布式存储系统的优化离不开以下几点:1. 硬件层面硬件规划SSD选择BIOS设置2. 软件层面Linux OSCeph ConfigurationsPG Number调整CRUSH Map其他因素硬件层面1、 CPUceph-osd进程在运行过程中会消耗CPU资源,所以一般会为每一个ceph-osd进程绑...转载 2019-05-23 17:34:22 · 2831 阅读 · 1 评论 -
Ceph测试系列(三):Ceph集群(3 osd节点)dd及rados bench 性能测试
转载:Ceph分布式存储系统-性能测试与优化摘要:本文先介绍了各个节点的本地磁盘吞吐量和延迟测试(dd 命令),节点间的网络测试(dd+nc命令),及最后的rados bench测试(配置不同的块大小)。测试环境部署方案:整个Ceph Cluster使用4台ECS,均在同一VPC中,结构如图:以下是 Ceph 的测试环境,说明如下:Ceph 采用 10.2.10 版本,...转载 2019-05-23 17:49:35 · 3625 阅读 · 1 评论 -
Ceph 入门系列(六) :ceph工作原理及CentOS上的安装
转载:ceph工作原理和安装一、概述Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Ceph有以下优势:1. CRUSH算法Crush算法是ceph的两大创新之一,简单来说,ceph摒弃了传统的集中式存储元数据寻址的方案,转而使用CRU...转载 2019-05-23 18:17:32 · 355 阅读 · 0 评论 -
Ceph 入门系列(一):ceph历史
Ceph 项目起源于其创始人Sage Weil在加州大学Santa Cruz分校攻读博士期间的研究课题。项目的起始时间为2004年,在2006年基于开源协议开源了Ceph的源代码。Sage Weil也相应成立了Inktank公司专注于Ceph的研发。在2014年5月,该公司被Red Hat收购。Ceph项目的发展历程如下:一、优势CRUSH 算法CRUSH 算法是 Ce...原创 2019-05-17 18:05:49 · 3406 阅读 · 0 评论