ceph
文章平均质量分 84
ganggexiongqi
这个作者很懒,什么都没留下…
展开
-
Ceph RadosGW - Placement Targets
转: https://blog-fromsomedude.rhcloud.com/2015/11/06/Ceph-RadosGW-Placement-Targets/Ceph RadosGW - Placement Targets Placement targets in the RGW are not well known nor do they have the doc转载 2016-01-07 16:35:53 · 1820 阅读 · 0 评论 -
Rocksdb Merge Operator
This page describes the Atomic Read-Modify-Write operation in RocksDB, known as the “Merge” operation. It is an interface overview, aimed at the client or RocksDB user who has the questions: when and w转载 2017-10-18 16:01:46 · 1764 阅读 · 0 评论 -
手动部署 使用 bluestore 后端的 osd (L版)
bluestore luminous 12.2.0 手动部署原创 2017-10-11 21:05:42 · 3697 阅读 · 0 评论 -
CentOS7 安装gcc 7.2 (为了编译最新版ceph)
最新版本的ceph已经使用了c++14新特性,CentOS7中的gcc版本太低,所以需要手动安装新版本的gcc。本文给出了一个可以正确编译ceph的gcc配置,供大家参考。 $ wget https://ftp.gnu.org/gnu/gcc/gcc-7.2.0/gcc-7.2.0.tar.xz原创 2017-12-27 14:35:27 · 6440 阅读 · 2 评论 -
使用lttng trace ceph filestore的性能
作者: Yang Honggang 本文基于 ceph-10.2.2/Centos7.2 介绍如何使用 lttng trace ceph osd 的性能.安装lttng工具安装 # yum install lttng-tools lttng-ust // 查看 trace 结果的工具 # yum install babeltrace启动 // 我们只是t原创 2018-01-22 17:33:58 · 2533 阅读 · 0 评论 -
cosbench 部署配置
作者: Yang Honggang 下载 // 不能直接使用 git clone 的版本,应该使用 release 下的 // ref: http://cosbench.1094679.n5.nabble.com/cosbench-3-3-0-on-ubuntu-13-10-td114.html wget https://github.com/intel-cloud/co原创 2018-01-23 10:46:04 · 8348 阅读 · 2 评论 -
使用python-crush均衡pg分布
作者: Yang Honggang ceph默认创建pool时,其pg分布很不均衡。这会造成有些osd很忙,有些很闲。不能充分发挥整体的性能。本文以rgwecpool ec pool为例子,演示如果让一个pool的pg均衡分布到各个osd上。本例子中使用的是jewel版本(v10.2.2)。对于社区master已经有 mgr balancer plugin 来自动调整pg分布(ht原创 2018-01-23 12:03:28 · 1853 阅读 · 1 评论 -
使用 lttng trace rgw 性能
本节介绍如何使用 rgw tracepoints 跟踪 rgw 数据传送、bi更新和头对象写的时间开销。1. 打过patch后,获取 trace数据操作和 [1] 中过程一样。不一样的处理如下:- apply patch [2] - 编译打开 lttng 支持(同[1])- ceph.conf 中配置项打开 rgw rados tracing = true rgw op tracing = ...原创 2018-03-27 12:12:24 · 1028 阅读 · 0 评论 -
LevelDB源码剖析之Arena内存管理
levelDB 中的内存管理本文将分析levelDB 中内存管理类Arena 的实现,通过分析该类的实现,我学到了如何封装内存的分配操作(通过统一的接口来分配不同大小的内存,而不用考虑内存释放),以及如何预先分配一整块内存来解决频繁分配小块内存浪费时间,直接分配大块内存浪费内存的问题,还学到了如何保证内存对齐。真好。static const int kBlockSize = 4096;Arena每...转载 2018-04-17 10:18:00 · 289 阅读 · 0 评论 -
Working With NUMA/CPU Pinning
Working With NUMA/CPU PinningSep8th, 201611:06 am| CommentsThe term CPU pinning / process affinity / NUMA generally boils down to the same idea that In a multi socket system, application best pe...转载 2018-07-23 12:22:42 · 761 阅读 · 0 评论 -
ceph radosgw gc
rgw gc对象删除操作、对象覆盖操作都会产生需要被删除的对象。这些对象由垃圾回收线程进行周期性、批量删除。1. 配置项配置项描述默认rgw gc max objs垃圾回收进程在一个处理周期内可处理的最大对象数32rgw gc obj min wait对象可被删除并由垃圾回收器处理前最少等待多长时间7200s原创 2016-04-15 11:05:12 · 6314 阅读 · 1 评论 -
使用curl进行s3服务操作
参考:http://tmont.com/blargh/2014/1/uploading-to-s3-in-bash不想使用s3cmd/s3curl等工具或者第三方库来测试RadosGW提供的s3服务。所以google了一把,已经有人做过了,详见参考链接。贴个shell脚本做个记录。下面的脚本就是将@file上传到@url指定的存储服务集群中的@bucket下,对象的名字叫@ob原创 2016-01-08 15:50:17 · 11657 阅读 · 0 评论 -
leveldb实现原理
郑重声明:本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的,原文地址:http://www.samecity.com/blog/Index.asp?SortID=12,只是为了加深印象,本文的配图是自己重新绘制的,大部分内容与原文相似,大家可以浏览原始页面 :-),感兴趣的话可以一起讨论 Leveldb 的实现原理!LevelDb日知录之一:LevelDb 1转载 2016-04-12 15:50:36 · 789 阅读 · 0 评论 -
Ceph中的序列化
Ceph中的序列化yuandong| 2015.05.11 作为主要和磁盘、网络打交道的分布式存储系统,序列化是最基础的功能之一,今天我们来看一下Ceph中序列化的设计与实现。1 Ceph序列化的方式序列化(ceph称之为encode)的目的是将数据结构表示为二进制流的方式,以便通过网络传输或保存在磁盘等存储介质上,其逆过程称之为反序列化(ceph称之为decode)。转载 2016-04-08 13:38:24 · 2114 阅读 · 1 评论 -
radosgw bucket index sharding
每个key在其对应的dir/bucket下都会占有200B左右的空间。当dir/bucket下面的key数量很多时,这将使得dir对象很大。不仅包含该dir对象的osd会使用很多内存,而且当dir对象迁移时所有对该对象的写操作都会锁定[1]。 [root@yhg-2 cmds]# rados -p .rgw.buckets.index listomapvals .dir.yhg-原创 2016-04-20 17:35:36 · 4345 阅读 · 0 评论 -
如何配置RadosGW支持多个placement target / data pools
I want to use different pools to hold user's buckets. Two pools are created, one is '.bj-dz.rgw.buckets', the other is '.bj-dz.rgw.buckets.hot'.1. Two placement targets are added to region map.原创 2016-01-11 20:12:32 · 2898 阅读 · 0 评论 -
radosgw cache
radosgw cache 分析原创 2016-05-04 14:54:43 · 6107 阅读 · 2 评论 -
S3 Multi Part Upload 中断后续传
我们上传大文件时难免出错,但又不愿意重新开始传,这里介绍如何利用boto,继续中断的 multi part upload。上传大文件示例原创 2016-05-17 14:49:57 · 4215 阅读 · 0 评论 -
radosgw layout (rgw 布局)
要了解一个存储系统,首先要了解其数据、元数据布局、重要抽象。这里对radosgw / rgw 的布局进行简单介绍。原创 2016-05-19 11:53:43 · 3270 阅读 · 1 评论 -
基于 rbd nbd 的支持抢锁的 rbd docker volume plugin
基于 rbd nbd 的支持抢锁的 rbd docker volume plugin1.注意本plugin的master分支和 Luminous 一起配合,不需要下面的patch本plugin 的 old-volume-helpers和jewel(10.2.2)一起测试过,需要apply 下面的patch:ceph-patch/rbd-nbd-ceph-10.2.2.patch2. 编译rpm包$...原创 2017-04-26 14:00:33 · 1472 阅读 · 0 评论 -
aws java sdk 访问ceph radosgw (hammer)
1. 安装maven[1]- 下载$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz- 解压 $ mkdir ~/install/ $ tar -zxf apache-maven-3.3.9-bin.tar.gz -C ~/in原创 2016-12-07 15:18:05 · 2886 阅读 · 0 评论 -
Profiling Ceph memcpy Usage
Profiling Ceph memcpy Usage 目录Profiling Ceph memcpy Usage Introduction Placing the uprobe on memcpy Simple Python Perf script to analyse memcpy sizes Distribution of memcpy sizes Steps...转载 2019-01-29 17:44:06 · 557 阅读 · 0 评论