Profiling Ceph memcpy Usage

Profiling Ceph memcpy Usage   目录 Profiling Ceph memcpy Usage Introduction Placing the uprobe on memcpy Simple Python Perf script to analyse ...

2019-01-29 17:44:06

阅读数 26

评论数 0

Working With NUMA/CPU Pinning

Working With NUMA/CPU Pinning Sep8th, 201611:06 am| Comments The term CPU pinning / process affinity / NUMA generally boils down to the same idea...

2018-07-23 12:22:42

阅读数 86

评论数 0

LevelDB源码剖析之Arena内存管理

levelDB 中的内存管理本文将分析levelDB 中内存管理类Arena 的实现,通过分析该类的实现,我学到了如何封装内存的分配操作(通过统一的接口来分配不同大小的内存,而不用考虑内存释放),以及如何预先分配一整块内存来解决频繁分配小块内存浪费时间,直接分配大块内存浪费内存的问题,还学到了如何...

2018-04-17 10:18:00

阅读数 70

评论数 0

使用 lttng trace rgw 性能

本节介绍如何使用 rgw tracepoints 跟踪 rgw 数据传送、bi更新和头对象写的时间开销。1. 打过patch后,获取 trace数据操作和 [1] 中过程一样。不一样的处理如下:- apply patch [2] - 编译打开 lttng 支持(同[1])- ceph.conf 中...

2018-03-27 12:12:24

阅读数 462

评论数 0

使用python-crush均衡pg分布

作者: Yang Honggang ceph默认创建pool时,其pg分布很不均衡。这会造成有些osd很忙,有些很闲。不能充分发挥整体的性能。 本文以rgwecpool ec pool为例子,演示如果让一个pool的pg均衡分布到各个osd上。本例子中使用的是jewel版本(v10.2....

2018-01-23 12:03:28

阅读数 517

评论数 1

cosbench 部署配置

作者: Yang Honggang 下载 // 不能直接使用 git clone 的版本,应该使用 release 下的 // ref: http://cosbench.1094679.n5.nabble.com/cosbench-3-3-0-on-ubuntu-13-10-...

2018-01-23 10:46:04

阅读数 2644

评论数 0

使用lttng trace ceph filestore的性能

作者: Yang Honggang 本文基于 ceph-10.2.2/Centos7.2 介绍如何使用 lttng trace ceph osd 的性能. 安装lttng工具 安装 # yum install lttng-tools lttng-ust // 查看 tra...

2018-01-22 17:33:58

阅读数 686

评论数 0

CentOS7 安装gcc 7.2 (为了编译最新版ceph)

最新版本的ceph已经使用了c++14新特性,CentOS7中的gcc版本太低,所以需要手动安装新版本的gcc。 本文给出了一个可以正确编译ceph的gcc配置,供大家参考。 $ wget https://ftp.gnu.org/gnu/gcc/gcc-7.2.0/gcc-7.2....

2017-12-27 14:35:27

阅读数 4362

评论数 2

Rocksdb Merge Operator

This page describes the Atomic Read-Modify-Write operation in RocksDB, known as the “Merge” operation. It is an interface overview, aimed at the clie...

2017-10-18 16:01:46

阅读数 668

评论数 0

手动部署 使用 bluestore 后端的 osd (L版)

bluestore luminous 12.2.0 手动部署

2017-10-11 21:05:42

阅读数 1757

评论数 0

基于 rbd nbd 的支持抢锁的 rbd docker volume plugin

基于 rbd nbd 的支持抢锁的 rbd docker volume plugin1.注意本plugin的master分支和 Luminous 一起配合,不需要下面的patch本plugin 的 old-volume-helpers和jewel(10.2.2)一起测试过,需要apply 下面的p...

2017-04-26 14:00:33

阅读数 927

评论数 0

aws java sdk 访问ceph radosgw (hammer)

1. 安装maven[1] - 下载 $ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz - 解压 $ mkdir ~/install/ $...

2016-12-07 15:18:05

阅读数 2099

评论数 0

radosgw layout (rgw 布局)

要了解一个存储系统,首先要了解其数据、元数据布局、重要抽象。这里对radosgw / rgw 的布局进行简单介绍。

2016-05-19 11:53:43

阅读数 2241

评论数 1

S3 Multi Part Upload 中断后续传

我们上传大文件时难免出错,但又不愿意重新开始传,这里介绍如何利用boto,继续中断的 multi part upload。 上传大文件示例

2016-05-17 14:49:57

阅读数 2021

评论数 0

radosgw cache

radosgw cache 分析

2016-05-04 14:54:43

阅读数 5155

评论数 1

radosgw bucket index sharding

每个key在其对应的dir/bucket下都会占有200B左右的空间。当dir/bucket下面的key数量 很多时,这将使得dir对象很大。不仅包含该dir对象的osd会使用很多内存,而且当dir 对象迁移时所有对该对象的写操作都会锁定[1]。 [root@yhg-2 cmds]# ra...

2016-04-20 17:35:36

阅读数 2674

评论数 0

ceph radosgw gc

rgw gc 对象删除操作、对象覆盖操作都会产生需要被删除的对象。这些对象由垃圾回收线程进行周期性、批量删除。 1. 配置项 配置项 描述 默认 rgw gc max objs 垃圾回收进程在一个处理周期内可处理的最大对象数 32 rgw gc obj min wait 对象...

2016-04-15 11:05:12

阅读数 2882

评论数 0

leveldb实现原理

郑重声明:本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的,原文地址:http://www.samecity.com/blog/Index.asp?SortID=12,只是为了加深印象,本文的配图是自己重新绘制的,大部分内容与原文相似,大家可以浏览原始页面 :-),感...

2016-04-12 15:50:36

阅读数 644

评论数 0

Ceph中的序列化

Ceph中的序列化 yuandong | 2015.05.11 作为主要和磁盘、网络打交道的分布式存储系统,序列化是最基础的功能之一,今天我们来看一下Ceph中序列化的设计与实现。 1 Ceph序列化的方式 序列化(ceph称之为encode)的目的是将数据结构表示为二进制流的方式,以便通过...

2016-04-08 13:38:24

阅读数 1535

评论数 0

如何配置RadosGW支持多个placement target / data pools

I want to use different pools to hold user's buckets. Two pools are created, one is '.bj-dz.rgw.buckets', the other is '.bj-dz.rgw.buckets.hot'. 1....

2016-01-11 20:12:32

阅读数 2132

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭