rgw
文章平均质量分 84
ganggexiongqi
这个作者很懒,什么都没留下…
展开
-
radosgw bucket index sharding
每个key在其对应的dir/bucket下都会占有200B左右的空间。当dir/bucket下面的key数量很多时,这将使得dir对象很大。不仅包含该dir对象的osd会使用很多内存,而且当dir对象迁移时所有对该对象的写操作都会锁定[1]。 [root@yhg-2 cmds]# rados -p .rgw.buckets.index listomapvals .dir.yhg-原创 2016-04-20 17:35:36 · 4340 阅读 · 0 评论 -
使用 lttng trace rgw 性能
本节介绍如何使用 rgw tracepoints 跟踪 rgw 数据传送、bi更新和头对象写的时间开销。1. 打过patch后,获取 trace数据操作和 [1] 中过程一样。不一样的处理如下:- apply patch [2] - 编译打开 lttng 支持(同[1])- ceph.conf 中配置项打开 rgw rados tracing = true rgw op tracing = ...原创 2018-03-27 12:12:24 · 1026 阅读 · 0 评论 -
使用python-crush均衡pg分布
作者: Yang Honggang ceph默认创建pool时,其pg分布很不均衡。这会造成有些osd很忙,有些很闲。不能充分发挥整体的性能。本文以rgwecpool ec pool为例子,演示如果让一个pool的pg均衡分布到各个osd上。本例子中使用的是jewel版本(v10.2.2)。对于社区master已经有 mgr balancer plugin 来自动调整pg分布(ht原创 2018-01-23 12:03:28 · 1849 阅读 · 1 评论 -
cosbench 部署配置
作者: Yang Honggang 下载 // 不能直接使用 git clone 的版本,应该使用 release 下的 // ref: http://cosbench.1094679.n5.nabble.com/cosbench-3-3-0-on-ubuntu-13-10-td114.html wget https://github.com/intel-cloud/co原创 2018-01-23 10:46:04 · 8329 阅读 · 2 评论 -
ceph radosgw 对象寻址和元数据组织
1. 对象寻址rgw对象寻址的过程就是“拼接对象串“的过程,再结合bucket.pool就能对应到rados对象。1.1 普通对象1.2 multipart 对象1.3 非multipart versioned对象1.4 multipart versioned 对象脑补吧...2. rgw元数据pool的作用 struct RGWZon原创 2017-03-31 10:56:35 · 3881 阅读 · 0 评论 -
ceph radosgw gc
rgw gc对象删除操作、对象覆盖操作都会产生需要被删除的对象。这些对象由垃圾回收线程进行周期性、批量删除。1. 配置项配置项描述默认rgw gc max objs垃圾回收进程在一个处理周期内可处理的最大对象数32rgw gc obj min wait对象可被删除并由垃圾回收器处理前最少等待多长时间7200s原创 2016-04-15 11:05:12 · 6311 阅读 · 1 评论 -
S3 bucket versioning 总结
1. bucket 的 versioning 状态切换* 默认状态unversioned* --> versioning-enabled versioning-suspendedWarningOnce you version-enable a bucket, it can never return to an unversioned stateObjects s原创 2017-09-14 15:43:53 · 2026 阅读 · 0 评论 -
aws java sdk 访问ceph radosgw (hammer)
1. 安装maven[1]- 下载$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz- 解压 $ mkdir ~/install/ $ tar -zxf apache-maven-3.3.9-bin.tar.gz -C ~/in原创 2016-12-07 15:18:05 · 2884 阅读 · 0 评论 -
Multi upload 示例
import math, os import boto import boto.s3.connection from filechunkio import FileChunkIO CONS_AK = 'RC35MU8KM1PMEQ4EFD46' CONS_SK = 'Fg1KO10FS4uIPzSoKenmKAR2YHt052rM9u8VDik9'原创 2016-10-12 11:13:53 · 1807 阅读 · 0 评论 -
Boto2 s3访问示例
import boto import boto.s3.connection ############### Replace these with your configrations #################### CONS_AK = 'RC35MU8KM1PMEQ4EFD46' CONS_SK = 'Fg1KO10FS4uIPzSoKenmKAR2YHt原创 2016-10-12 11:09:31 · 2188 阅读 · 0 评论 -
radosgw layout (rgw 布局)
要了解一个存储系统,首先要了解其数据、元数据布局、重要抽象。这里对radosgw / rgw 的布局进行简单介绍。原创 2016-05-19 11:53:43 · 3267 阅读 · 1 评论 -
S3 Multi Part Upload 中断后续传
我们上传大文件时难免出错,但又不愿意重新开始传,这里介绍如何利用boto,继续中断的 multi part upload。上传大文件示例原创 2016-05-17 14:49:57 · 4210 阅读 · 0 评论 -
radosgw cache
radosgw cache 分析原创 2016-05-04 14:54:43 · 6106 阅读 · 2 评论 -
Working With NUMA/CPU Pinning
Working With NUMA/CPU PinningSep8th, 201611:06 am| CommentsThe term CPU pinning / process affinity / NUMA generally boils down to the same idea that In a multi socket system, application best pe...转载 2018-07-23 12:22:42 · 755 阅读 · 0 评论