Working With NUMA/CPU Pinning

Working With NUMA/CPU Pinning Sep8th, 201611:06 am| Comments The term CPU pinning / process affinity / NUMA generally boils down to the same idea...

2018-07-23 12:22:42

阅读数:54

评论数:0

LevelDB源码剖析之Arena内存管理

levelDB 中的内存管理本文将分析levelDB 中内存管理类Arena 的实现,通过分析该类的实现,我学到了如何封装内存的分配操作(通过统一的接口来分配不同大小的内存,而不用考虑内存释放),以及如何预先分配一整块内存来解决频繁分配小块内存浪费时间,直接分配大块内存浪费内存的问题,还学到了如何...

2018-04-17 10:18:00

阅读数:53

评论数:0

使用 lttng trace rgw 性能

本节介绍如何使用 rgw tracepoints 跟踪 rgw 数据传送、bi更新和头对象写的时间开销。1. 打过patch后,获取 trace数据操作和 [1] 中过程一样。不一样的处理如下:- apply patch [2] - 编译打开 lttng 支持(同[1])- ceph.conf 中...

2018-03-27 12:12:24

阅读数:373

评论数:0

使用python-crush均衡pg分布

作者: Yang Honggang ceph默认创建pool时,其pg分布很不均衡。这会造成有些osd很忙,有些很闲。不能充分发挥整体的性能。 本文以rgwecpool ec pool为例子,演示如果让一个pool的pg均衡分布到各个osd上。本例子中使用的是jewel版本(v10.2....

2018-01-23 12:03:28

阅读数:424

评论数:1

cosbench 部署配置

作者: Yang Honggang 下载 // 不能直接使用 git clone 的版本,应该使用 release 下的 // ref: http://cosbench.1094679.n5.nabble.com/cosbench-3-3-0-on-ubuntu-13-10-...

2018-01-23 10:46:04

阅读数:1830

评论数:1

使用lttng trace ceph filestore的性能

作者: Yang Honggang 本文基于 ceph-10.2.2/Centos7.2 介绍如何使用 lttng trace ceph osd 的性能. 安装lttng工具 安装 # yum install lttng-tools lttng-ust // 查看 tra...

2018-01-22 17:33:58

阅读数:512

评论数:0

CentOS7 安装gcc 7.2 (为了编译最新版ceph)

最新版本的ceph已经使用了c++14新特性,CentOS7中的gcc版本太低,所以需要手动安装新版本的gcc。 本文给出了一个可以正确编译ceph的gcc配置,供大家参考。 $ wget https://ftp.gnu.org/gnu/gcc/gcc-7.2.0/gcc-7.2....

2017-12-27 14:35:27

阅读数:3435

评论数:2

Rocksdb Merge Operator

This page describes the Atomic Read-Modify-Write operation in RocksDB, known as the “Merge” operation. It is an interface overview, aimed at the clie...

2017-10-18 16:01:46

阅读数:624

评论数:0

手动部署 使用 bluestore 后端的 osd (L版)

bluestore luminous 12.2.0 手动部署

2017-10-11 21:05:42

阅读数:1329

评论数:0

基于 rbd nbd 的支持抢锁的 rbd docker volume plugin

基于 rbd nbd 的支持抢锁的 rbd docker volume plugin1.注意本plugin的master分支和 Luminous 一起配合,不需要下面的patch本plugin 的 old-volume-helpers和jewel(10.2.2)一起测试过,需要apply 下面的p...

2017-04-26 14:00:33

阅读数:876

评论数:0

aws java sdk 访问ceph radosgw (hammer)

1. 安装maven[1] - 下载 $ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz - 解压 $ mkdir ~/install/ $...

2016-12-07 15:18:05

阅读数:2007

评论数:0

radosgw layout (rgw 布局)

要了解一个存储系统,首先要了解其数据、元数据布局、重要抽象。这里对radosgw / rgw 的布局进行简单介绍。

2016-05-19 11:53:43

阅读数:2066

评论数:1

S3 Multi Part Upload 中断后续传

我们上传大文件时难免出错,但又不愿意重新开始传,这里介绍如何利用boto,继续中断的 multi part upload。 上传大文件示例

2016-05-17 14:49:57

阅读数:1842

评论数:0

radosgw cache

radosgw cache 分析

2016-05-04 14:54:43

阅读数:4947

评论数:1

radosgw bucket index sharding

每个key在其对应的dir/bucket下都会占有200B左右的空间。当dir/bucket下面的key数量 很多时,这将使得dir对象很大。不仅包含该dir对象的osd会使用很多内存,而且当dir 对象迁移时所有对该对象的写操作都会锁定[1]。 [root@yhg-2 cmds]# ra...

2016-04-20 17:35:36

阅读数:2471

评论数:0

ceph radosgw gc

rgw gc 对象删除操作、对象覆盖操作都会产生需要被删除的对象。这些对象由垃圾回收线程进行周期性、批量删除。 1. 配置项 配置项 描述 默认 rgw gc max objs 垃圾回收进程在一个处理周期内可处理的最大对象数 32 rgw gc obj min wait 对象...

2016-04-15 11:05:12

阅读数:2603

评论数:0

leveldb实现原理

郑重声明:本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的,原文地址:http://www.samecity.com/blog/Index.asp?SortID=12,只是为了加深印象,本文的配图是自己重新绘制的,大部分内容与原文相似,大家可以浏览原始页面 :-),感...

2016-04-12 15:50:36

阅读数:638

评论数:0

Ceph中的序列化

Ceph中的序列化 yuandong | 2015.05.11 作为主要和磁盘、网络打交道的分布式存储系统,序列化是最基础的功能之一,今天我们来看一下Ceph中序列化的设计与实现。 1 Ceph序列化的方式 序列化(ceph称之为encode)的目的是将数据结构表示为二进制流的方式,以便通过...

2016-04-08 13:38:24

阅读数:1443

评论数:0

如何配置RadosGW支持多个placement target / data pools

I want to use different pools to hold user's buckets. Two pools are created, one is '.bj-dz.rgw.buckets', the other is '.bj-dz.rgw.buckets.hot'. 1....

2016-01-11 20:12:32

阅读数:2061

评论数:0

使用curl进行s3服务操作

参考:http://tmont.com/blargh/2014/1/uploading-to-s3-in-bash 不想使用s3cmd/s3curl等工具或者第三方库来测试RadosGW提供的s3服务。所以google了一把,已经有人做过了,详见参考链接。 贴个shell脚本做个记录。下面的...

2016-01-08 15:50:17

阅读数:3895

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭