- 博客(49)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 设置CPU性能
#!/bin/bashcpu_num=` cat /proc/cpuinfo |grep "processor"|grep ":"|wc -l `for((i=0;i<${cpu_num};i++))do echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor ret=$? if [ $ret -ne 0 ]; then echo "set cpu${i} fail" .
2021-06-08 11:40:53
231
转载 cephfs-cap1
一、Cap：概述 cap是文件系统层面的，包括元数据、数据操作。cap 和mds分布式锁是对应的cap是MDS分配给client对inode的操作能力权限。不同的客户端，或者同一客户端不同时刻，对同一inode持有cap可能是不同的•作用：MDS通过cap对多个客户端操作同一个inode进行权限管理 二、基本cap 三、Cap和锁 四、Cap结构 ...
2021-01-14 00:53:47
241
转载 基于pglog的Ceph一致性存储问题-转载
基于pglog的Ceph一致性存储问题 吴东 2016 年 3 月 30 日 https://www.infoq.cn/article/consistency-storage-problem-of-ceph-based-on-pglog 语言 & 开发架构 分布式存储系统通常采用多副本的方式来保证系统的可靠性，而多副本之间如何保证数据的一致性就是系统的核心。Ceph 号称统一存储，其核心 RADOS 既支持多副本，也支持纠删码。本文主要分析 C
2020-11-10 00:16:02
306
原创 qperf查看网路延时
serverqperf -lp 19765clientqperf -t 60 --use_bits_per_sec 192.168.1.1 tcp_bw tcp_lat
2020-07-11 11:50:00
326
原创 S3 bucket Version配置协议
设置桶版本协议规范PUT /?versioning HTTP/1.1Host: BucketName.s3.amazonaws.comContent-Length: lengthDate: dateAuthorization: authorization string (see Authenticating Requests (AWS Signature Version4))x-amz-m...
2020-04-10 11:38:17
1275
转载 RGW caceh
缓存是为达到系统快速响应的一项关键技术，Ceph 作为一个复杂的分布式存储系统，有多种、多级缓存存在。缓存按照位置分为：客户端缓存 服务端缓存 网络中缓存按照部署方式分为：单体缓存 缓存集群 分布式缓存而Rados 网关缓存，也即RGW Cache 按照位置：作为Ceph client 可以归为客户端缓存，作为上层应用的服务端可以归为服务端缓存。而按照部署方式则为分布式缓存，因...
2020-04-04 17:07:51
405
原创 资源池创建&&cephfs创建
一.创建资源池1.故障域划分ceph osd crush add-bucket test_root root #创建根ceph osd crush add-bucket test_host1 host #创建hostceph osd crush add-bucket test_host2 host #创建hostceph osd crush move test_host1 root...
2020-03-20 18:44:24
766
原创 RGW动态reshard
下面是我对rgw最大对象数据限制的调研, 而是当触发了某一个条件, 系统会自动的运行reshard process去扩大桶的索引下面是我的验证流程及代码分析一. 查看配置文件系统默认值, 如下图,10w个这个参数意味当rgw_dynamic_resharding的值为true时, 当对象的个数大于rgw_max_objs_per_shard * num_shared时, 会触...
2019-08-09 11:33:41
938
原创 rbd 删除慢问题分析
近日在测试环境中遇到了没有写数据rbd删除满的情况，通过对比测试当rbd有如下的feathers删除会变慢rbd image 'no_lock_rbd': size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1159643c9869 format: ...
2019-07-25 00:05:50
1189
原创 wal与db分区磁盘util较高
在使用cephfs上层业务进行数据写入的时候，wal与db所在分区的util值较高，可能是由于bluestone的compaction导致，具体排查如下iotop 查看查看是否有较多的rockdb：bg0，是的话，代表在compaction如何减少compaction：在数据写入之前手动进行触发ceph daemon osd.0compact或者关闭compactio...
2019-07-12 16:27:42
1539
原创 Ceph MDS服务无法正常删除
[root@node~]# ceph -s cluster: id: f1607357-011f-4064-bcd3-51866fa71844 health: HEALTH_WARN 1 filesystem is degraded 1 filesystem has a failed mds daemon ...
2019-07-12 15:30:54
4118
原创 cephfs mds多活设置
1.设置mds个数ceph fs set cephfs max_mds 52.对目录进行设置多活setfattr -n ceph.dir.pin -v 0 test1do setfattr -n ceph.dir.pin -v 1 test2setfattr -n ceph.dir.pin -v 2 test3setfattr -n ceph.dir.pin -v 3 tes...
2019-07-11 20:02:59
1775
原创 rbd 删除读写锁
[root@node1 luns]# rbd lock ls test2_index/win2There is 1 exclusive lock on this image.Locker ID Address client.5395054 auto 139942852675488 10.193.56....
2019-07-10 14:05:10
1411
原创 rbd 关闭互斥锁能力集
创建好rbd之后，修改rbd feature disable san_index/test fast-diffrbd feature disable san_index/test object-maprbd feature disable san_index/test exclusive-lock创建就禁掉rbd create san_index/test1 -s...
2019-07-10 13:58:08
1018
原创 cephfs修改容量
只对用户态挂载有效设置setfattr -n ceph.quota.max_bytes /nas/cephfs/disk1 -v 419430400查看getfattr -n ceph.quota.max_bytes /nas/cephfs/disk1
2019-07-09 19:19:20
1827
原创 断点下载java实例
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.I...
2019-07-08 11:05:40
355
1
原创 S3 api 断点下载
断点下载流程分析 1, 发送head协议获取下载文件的大小2, 根据分段大小形成xml文件, xml文件的命令规则为文件名+_map.xml,举例如下<download> <Part> <offset>0</offset> <lenth>104857600</le...
2019-07-08 11:04:18
1265
原创 linux 磁盘cache参数设置
1. /proc/sys/vm/dirty_ratio这个参数控制文件系统的文件系统写缓冲区的大小，单位是百分比，表示系统内存的百分比，表示当写缓冲使用到系统内存多少的时候，开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲，也可以极大提高系统的写性能。但是，当你需要持续、恒定的写入场合时，应该降低其数值2./proc/sys/vm/dirty_background_rat...
2019-07-03 14:25:24
5113
原创 linux cpu核心数查看
# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数（超线程）cat /proc/cpuinfo| grep "processor"| wc -l...
2019-06-24 15:48:07
1375
转载 shell中的waidpid
(echo aaa >> /dev/null;sleep 10; exit 0)& (echo bbb >> /dev/null;sleep 11; exit 1)& (echo ccc >> /dev/null;sleep 12; exit 0)& (echo ddd >> /dev/null;sleep 5;...
2019-06-19 20:55:26
157
原创 调整CPU为高性能模式
#!/bin/bashcpu_num=` cat /proc/cpuinfo |grep "processor"|grep ":"|wc -l `for((i=0;i<${cpu_num};i++))do echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor ret...
2019-06-19 19:48:31
7941
原创 HMAC-SHA1算法shell方式
echo -n 'stringtosign' | openssl dgst -hmac 'key' -sha1 -binary | base64举例如下：echo -n 'GET&version=4.0&date=2019-04-29 14:59:30&storagekeyid=STORAGEKEYID&cloudid=cloud11213' | opens...
2019-04-29 15:48:14
2745
原创 linux C编程之死锁
死锁：死锁就是你和小明打架,互相掐住对方脖子,你们都说“你先放!”,结果谁都不放,死锁了.在程序里面,有两个锁,A线程锁住第一个,B线程锁住了第二个,这时如果A再试图锁第二个,失败,因为B已经锁住了,A只能等待.就在这时B试图锁第一个,结果失败,因为A已经锁住了,B只好等待.就这样大家一直等下去,谁都不放,天荒地老...举例：#include <unistd.h> #...
2019-04-28 19:57:35
1349
1
原创 source insight多行注释
我们经常要对一整段代码进行注释，很多代码编辑器都提供了这样的功能：用快捷键“Ctrl + /”来实现“//”的多行注释。但是在用source insight的时候，发现竟然没有这样的功能。于是在网上搜了一下，sourceinsight里面的多行注释可以用宏来实现。以下是实现多行注释的宏代码（在别的网站copy过来的，经过测试，还是很好用的，有的时候复制的时候存在垃圾字符，要注意）：ma...
2019-04-25 10:16:35
5200
1
原创 Cosbench配置使用
1 获取安装包https://github.com/intel-cloud/cosbench2 安装依赖包jdk curl3 解压包unzip CosBench-0.4.2.c3.zip4 赋予执行脚本权限cd 0.4.2.c3 && chmod +x *.sh5 启动driver与controller服务./start-all.sh6 登陆...
2019-04-22 14:19:52
1271
原创 rbd通过快照进行卷备份
rbd的增量备份和恢复快照的功能一般是基于时间点做一个标记，然后在某些需要的时候，将状态恢复到标记的那个点，这个有一个前提是底层的东西没用破坏，举个简单的例子，Vmware里面对虚拟机做了一个快照，然后做了一些系统的操作，想恢复快照，前提是存储快照的存储系统没用破坏，一旦破坏了是无法恢复的1.创建快照rbdsnap create testimage@v1rbdsnap creat...
2019-04-19 19:53:13
1348
原创 readv与writev实例
readv和writev函数的功能可以概括为：对数据进行整合传输以及发送。通过writev函数可以将分散保存在多个buff的数据一并进行发送，通过readv可以由多个buff分别接受数据，适当的使用这两个函数可以减少I/O函数的调用次数：#include <sys/types.h>#include <sys/stat.h>#include <fcntl....
2019-04-18 20:06:01
412
原创 ceph 创建创建osd并指定rocksdb与wal
for i in {e..i};do ceph-disk prepare /dev/sd$i --block.db /dev/hda --block.wal /dev/hda &； donefor i in {e..i};ceph-disk -v activate /dev/sd“$i”1 & ；done/dev/hda/与 /dev/sdb是两个ssd作为osd的wal和r...
2019-04-09 14:58:22
3501
原创 ceph rgw 高可用
软件介绍1 LvsLVS (Linux Virtual Server)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。...
2019-04-01 20:28:21
1161
原创 bitMap浅析
基本思想： 所谓的BitMap就是用一个bit位来标记某个元素所对应的value，而key即是该元素，由于BitMap使用了bit位来存储数据，因此可以大大节省存储空间。举例： 这此我用一个简单的例子来详细介绍BitMap算法的原理。假设我们要对0-7内的5个元素(4,7,2,5,3)进行排序(这里假设元素没有重复)。我们可以使用BitMap算法达到排序目的。要表示8个数...
2019-03-30 13:18:38
1729
2
原创 ceph 对象存储支持多用户
1.在配置文件中添加对象存储用户，eg[client.rgw.node]rgw_frontends = "civetweb port=7439"log file = /var/log/ceph/test.rgw.logdebug_rgw = 20rgw_gc_obj_min_wait = 10rgw_gc_processor_period = 302.创建用户，启...
2019-03-18 17:18:12
961
转载 ceph rgw 垃圾回收机制流程
1,删除对象后，会将垃圾数据标记在.rgw.gc这个池中2.并发的删除的work数量由参数决定rgw_gc_max_objs，而这个数量对应的个数是资源池.rgw.gc中对象的多少3.数据删除后，垃圾在数据池保存的时间由rgw_gc_obj_min_wait决定，单位秒4.rgw_gc_processor_period参数决定垃圾回收进程多长时间轮训一次，...
2019-03-18 16:48:58
3239
原创 linux shell 判断一个文件是不是链接文件
#!/bin/bashif [ -h "/nas/kvm_hcs/backup" ]then echo "yes"fi
2019-03-15 16:45:47
11128
原创 s3cmd配置bucket生命周期
1，安装s3cmd1）下载https://sourceforge.net/projects/s3tools/files/s3cmd/2）解压安装unzip s3cmd-2.0.1.zip; cd s3cmd-2.0.1/; python setup.py install2，配置s3cmd执行s3cmd --configure//填写具体参数3, 创建...
2019-03-13 15:12:06
2988
1
转载 ext4、xfs脏数据下刷周期与设置
https://blog.csdn.net/Angel_94/article/details/87815411
2019-03-12 17:33:28
292
原创 python 软件离线安装（boto3为例）
由于boto无法支持bucket的大写名称, 所以使用boto3进行代替, 看了大量的贴子和boto3的官网, 发现boto3的安装方式都是使用pip工具进行安装(pip install boto3), 但是我们的存储无法进行外网连接, 所以还是需要通过rpm包的方式进行安装但是boto3官网没有提供boto3的rpm包, 所以通过rpm search搜索到（搜索到的boto3版本有限）, 如...
2019-03-11 16:13:09
6875
基于内核版本3.10.0-862.11.6.el7.x86_64内存映射块设备驱动brd.ko
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人