for_tech的博客

1. 环境1.1 硬件4台 Linux虚拟机： server0, server1, server2, server3 每台有两块磁盘 ： /dev/vdb, /dev/vdc 每台有两块网卡 ：eth0, ens91.2 软件linux版本： CentOS 7.2.1511 内核版本 ： 3.10.0-327.el7.x86_64 ceph版本： 12.2.5...

1. 性质每个结点或是红色的，或设黑色的。根结点是黑色的。每个叶子结点(NIL)是黑色的。如果一个结点是红色的，则它的两个子结点都是黑色的。对每个结点，从该结点到其所有后代叶结点的简单路径上，均包含相同数目的黑色结点。其核心思想是，对于任意一个子树（当然，整棵树本身也是它自己的一个子树）， 从子树的根结点到每个叶结点的简单路径上：黑色结点数目相同。不能有连续的红色结点（...

只是一点例子，没有什么解释；主要是给自己看，作为一个笔记而已。boost::optional例子：#include <boost/optional.hpp>#include <iostream>class Inner{ private: int v; public: Inner(int _v) : v(_v) {}...

Advanced Format是一个相对较新的磁盘格式标准，4K分区是其中的核心。由于向下兼容的需要，大多数4K分区磁盘模拟512B分区。若分区不对齐，将会带来明显的性能影响。所以，分区对齐至关重要。

手动部署ceph12集群，多机环境

CentOS7下部署ceph12

在使用nginx lua 时经常会使用ngx.var.varname 来获取变量，随着业务的越复杂，变量越来越多，发现服务的速度明显变慢了本文分析了整个变量的获取和保存逻辑ngx_lua 获取变量首先ngx_lua 获取变量调用的是 ngx_http_lua_var_get(lua_State *L)46-static int 47ngx_http_lua_var_get(lua_State

本文介绍了filebench测试filesystem的大致方法也可参考：http://www.yangguanjun.com/2017/07/08/fs-testtool-filebench/

ceph中各osd的pg数量是近似均匀的，可以认为各pg下的数据容量大致相等，因此从原理上来说保证各osd pg相等，则各osd上的磁盘使用量也差不多相同，但是由于算法做不到绝对均匀的原因某些osd上的pg数会相差比较大，这样某些osd上的空间使用量就会比较多。建议是ceph部署完成，各pool也创建完成后，主动手工观察，通过命令调整osd的权重来调整osd上的pg数网上找的命令统计各

ceph cls

修改Ceph的OSD和Monitor网络配置

Ceph参数配置详解

本文讨论下Ceph在Jewel中引入的 dynamic throttle：BackoffThrottle；分析后优化Ceph filestore，journal相关的throttle配置；参考文章：http://blog.wjin.org/posts/ceph-dynamic-throttle.htmlhttps://fossies.org/linux/ceph/s

Ceph RGW远程同步(multisite)机制研究

ceph rgw的远程同步(multisite)配置

概述通过Radosgw的Admin ops api，可以执行radosgw-admin对应的很多管理操作。创建管理用户要通过Restful请求管理Radosgw，必须先创建一个管理账户，user自己制定，可以命名为admin，例如： radosgw-admin user create --uid=admin --display-name=admi

经常我们需要测试Ceph的RadosGW是否访问正常，s3cmd是一种方法，另一个就是用各种s3的SDK了，这里介绍python的boto3 SDK；脚本如下：$ cat bucketops.py#!/usr/bin/env python# coding=utf-8import boto3def main():    access_key = '

1. 原理1.1. 客户端发送一个SYN包到服务器，这个包中携带了Fast Open Cookie Request；2. 服务器生成一个cookie，这个cookie是加密客户端的IP地址生成的。服务器给客户端发送SYN＋ACK响应，在响应包的选项中包含了这个cookie；3. 客户端存储这个cookie以便将来再次与这个服务器的IP建立TFO连接时使用；也就是说，第一次TC...

Linux TCP的TCP_DEFER_ACCEPT

使用bash 实现对S3文件上传，包含metadata，acl、content-type设置，以及文件md5校验。

CentOS6和CentOS7的free命令解释

目前一些开源项目支持把s3接口挂在成fuse文件系统，最早的是s3fs，目前有两个项目，一个是c++写的，一个是python实现的，目前用的比较多的是python实现的，另外还有riofs和goofys当然ceph目前也有个把radosgw通过nfs协议挂载的方式，但是目前还不成熟

1. 源码手动编译c++ 11支持问题export CXXFLAGS=-std=c++11:$CXXFLAGS然后再make2. rpm 安装遇到selinux-policy-base依赖问题[root@tc-server rpm]# rpm -ivh ceph-selinux-10.2.3-0.el7.centos.x86_64.rpmerror: Failed de

Openresty/Lua使用Thrift借口访问HBase

Lua加载模块

openresty环境下，使用redis作缓存

redis以及redis集群的C/C++ API

在CentOS7环境下安装redis-3.2.1

ceph的实践过程，包括ceph的简介，ceph的应用，ceph的优化和ceph的监控等内容。

CentOS7编译ceph 10

本文以开发一个简单nginx模块为例，讲述nginx http模块开发的入门知识。

nginx入门

ceph rbd map时遇到的一个问题与解决办法。

ubuntu系统中尝试生成ceph的dump文件，然后通过gdb分析core dump。

先来看看release note: http://docs.ceph.com/docs/master/release-notes/#v10-2-0-jewelbut CentOS 7.x. We have dropped support for CentOS 6但是鉴于全部升级操作系统会是比较缓慢的过程所以先在现有环境打包测试1.downloadwget http://down

Ceph性能调优总结

1. 现在ceph系统支持perf counter统计mutex花费的时间   OPTION(mutex_perf_counter, OPT_BOOL, false)   ceph daemon /var/run/ceph/ceph-osd.0.asok config set mutex_perf_counter 1   ceph daemon /var/run/ceph/ceph-o

经典的Paxos算法。这里的"经典"是和FastPoxos对应的。

一个boost状态机的例子

最近在想怎么去更有效的监控和管理ceph集群的问题，之前主要就是脚本调用ceph的命令，有没有更方便和有效的方式呢？之前部署过calamari，不过这个calamari比较庞大，所以看看ceph原生的rest api.ceph rest api是一个wsgi（Web Service Gateway Interface）应用，默认监听5000端口ceph-

ceph radosgw部署过程详细介绍和测试