- 博客(49)
- 资源 (3)
- 收藏
- 关注
原创 设置CPU性能
#!/bin/bashcpu_num=` cat /proc/cpuinfo |grep "processor"|grep ":"|wc -l `for((i=0;i<${cpu_num};i++))do echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor ret=$? if [ $ret -ne 0 ]; then echo "set cpu${i} fail" .
2021-06-08 11:40:53
231
转载 cephfs-cap1
一、Cap:概述 cap是文件系统层面的,包括元数据、数据操作。cap 和mds分布式锁是对应的cap是MDS分配给client对inode的操作能力权限。不同的客户端,或者同一客户端不同时刻,对同一inode持有cap可能是不同的•作用:MDS通过cap对多个客户端操作同一个inode进行权限管理 二、基本cap 三、Cap和锁 四、Cap结构 ...
2021-01-14 00:53:47
241
转载 基于pglog的Ceph一致性存储问题-转载
基于pglog的Ceph一致性存储问题 吴东 2016 年 3 月 30 日 https://www.infoq.cn/article/consistency-storage-problem-of-ceph-based-on-pglog 语言 & 开发架构 分布式存储系统通常采用多副本的方式来保证系统的可靠性,而多副本之间如何保证数据的一致性就是系统的核心。Ceph 号称统一存储,其核心 RADOS 既支持多副本,也支持纠删码。本文主要分析 C
2020-11-10 00:16:02
306
原创 qperf查看网路延时
serverqperf -lp 19765clientqperf -t 60 --use_bits_per_sec 192.168.1.1 tcp_bw tcp_lat
2020-07-11 11:50:00
326
原创 S3 bucket Version配置协议
设置桶版本协议规范PUT /?versioning HTTP/1.1Host: BucketName.s3.amazonaws.comContent-Length: lengthDate: dateAuthorization: authorization string (see Authenticating Requests (AWS Signature Version4))x-amz-m...
2020-04-10 11:38:17
1275
转载 RGW caceh
缓存是为达到系统快速响应的一项关键技术,Ceph 作为一个复杂的分布式存储系统,有多种、多级缓存存在。缓存按照位置分为:客户端缓存 服务端缓存 网络中缓存按照部署方式分为:单体缓存 缓存集群 分布式缓存而Rados 网关缓存,也即RGW Cache 按照位置:作为Ceph client 可以归为客户端缓存,作为上层应用的服务端可以归为服务端缓存。而按照部署方式则为分布式缓存,因...
2020-04-04 17:07:51
405
原创 资源池创建&&cephfs创建
一.创建资源池1.故障域划分ceph osd crush add-bucket test_root root #创建根ceph osd crush add-bucket test_host1 host #创建hostceph osd crush add-bucket test_host2 host #创建hostceph osd crush move test_host1 root...
2020-03-20 18:44:24
766
原创 RGW动态reshard
下面是我对rgw最大对象数据限制的调研, 而是当触发了某一个条件, 系统会自动的运行reshard process去扩大桶的索引下面是我的验证流程及代码分析一. 查看配置文件系统默认值, 如下图,10w个这个参数意味当rgw_dynamic_resharding的值为true时, 当对象的个数大于rgw_max_objs_per_shard * num_shared时, 会触...
2019-08-09 11:33:41
938
原创 rbd 删除慢问题分析
近日在测试环境中遇到了没有写数据rbd删除满的情况,通过对比测试当rbd有如下的feathers删除会变慢rbd image 'no_lock_rbd': size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1159643c9869 format: ...
2019-07-25 00:05:50
1189
原创 wal与db分区磁盘util较高
在使用cephfs上层业务进行数据写入的时候,wal与db所在分区的util值较高,可能是由于bluestone的compaction导致,具体排查如下iotop 查看查看是否有较多的rockdb:bg0,是的话,代表在compaction如何减少compaction:在数据写入之前手动进行触发ceph daemon osd.0compact或者关闭compactio...
2019-07-12 16:27:42
1539
原创 Ceph MDS服务无法正常删除
[root@node~]# ceph -s cluster: id: f1607357-011f-4064-bcd3-51866fa71844 health: HEALTH_WARN 1 filesystem is degraded 1 filesystem has a failed mds daemon ...
2019-07-12 15:30:54
4118
原创 cephfs mds多活设置
1.设置mds个数ceph fs set cephfs max_mds 52.对目录进行设置多活setfattr -n ceph.dir.pin -v 0 test1do setfattr -n ceph.dir.pin -v 1 test2setfattr -n ceph.dir.pin -v 2 test3setfattr -n ceph.dir.pin -v 3 tes...
2019-07-11 20:02:59
1775
原创 rbd 删除读写锁
[root@node1 luns]# rbd lock ls test2_index/win2There is 1 exclusive lock on this image.Locker ID Address client.5395054 auto 139942852675488 10.193.56....
2019-07-10 14:05:10
1411
原创 rbd 关闭互斥锁能力集
创建好rbd之后,修改rbd feature disable san_index/test fast-diffrbd feature disable san_index/test object-maprbd feature disable san_index/test exclusive-lock创建就禁掉rbd create san_index/test1 -s...
2019-07-10 13:58:08
1018
原创 cephfs修改容量
只对用户态挂载有效设置setfattr -n ceph.quota.max_bytes /nas/cephfs/disk1 -v 419430400查看getfattr -n ceph.quota.max_bytes /nas/cephfs/disk1
2019-07-09 19:19:20
1827
原创 断点下载java实例
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.I...
2019-07-08 11:05:40
355
1
原创 S3 api 断点下载
断点下载流程分析 1, 发送head协议获取下载文件的大小2, 根据分段大小形成xml文件, xml文件的命令规则为文件名+_map.xml,举例如下<download> <Part> <offset>0</offset> <lenth>104857600</le...
2019-07-08 11:04:18
1265
原创 linux 磁盘cache参数设置
1. /proc/sys/vm/dirty_ratio这个参数控制文件系统的文件系统写缓冲区的大小,单位是百分比,表示系统内存的百分比,表示当写缓冲使用到系统内存多少的时候,开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲,也可以极大提高系统的写性能。但是,当你需要持续、恒定的写入场合时,应该降低其数值2./proc/sys/vm/dirty_background_rat...
2019-07-03 14:25:24
5113
原创 linux cpu核心数查看
# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数(超线程)cat /proc/cpuinfo| grep "processor"| wc -l...
2019-06-24 15:48:07
1375
转载 shell中的waidpid
(echo aaa >> /dev/null;sleep 10; exit 0)& (echo bbb >> /dev/null;sleep 11; exit 1)& (echo ccc >> /dev/null;sleep 12; exit 0)& (echo ddd >> /dev/null;sleep 5;...
2019-06-19 20:55:26
157
原创 调整CPU为高性能模式
#!/bin/bashcpu_num=` cat /proc/cpuinfo |grep "processor"|grep ":"|wc -l `for((i=0;i<${cpu_num};i++))do echo performance > /sys/devices/system/cpu/cpu${i}/cpufreq/scaling_governor ret...
2019-06-19 19:48:31
7941
原创 HMAC-SHA1算法shell方式
echo -n 'stringtosign' | openssl dgst -hmac 'key' -sha1 -binary | base64举例如下:echo -n 'GET&version=4.0&date=2019-04-29 14:59:30&storagekeyid=STORAGEKEYID&cloudid=cloud11213' | opens...
2019-04-29 15:48:14
2745
原创 linux C编程之死锁
死锁:死锁就是你和小明打架,互相掐住对方脖子,你们都说“你先放!”,结果谁都不放,死锁了.在程序里面,有两个锁,A线程锁住第一个,B线程锁住了第二个,这时如果A再试图锁第二个,失败,因为B已经锁住了,A只能等待.就在这时B试图锁第一个,结果失败,因为A已经锁住了,B只好等待.就这样大家一直等下去,谁都不放,天荒地老...举例:#include <unistd.h> #...
2019-04-28 19:57:35
1349
1
原创 source insight多行注释
我们经常要对一整段代码进行注释,很多代码编辑器都提供了这样的功能:用快捷键“Ctrl + /”来实现“//”的多行注释。但是在用source insight的时候,发现竟然没有这样的功能。于是在网上搜了一下,sourceinsight里面的多行注释可以用宏来实现。以下是实现多行注释的宏代码(在别的网站copy过来的,经过测试,还是很好用的,有的时候复制的时候存在垃圾字符,要注意):ma...
2019-04-25 10:16:35
5200
1
原创 Cosbench配置使用
1 获取安装包https://github.com/intel-cloud/cosbench2 安装依赖包jdk curl3 解压包unzip CosBench-0.4.2.c3.zip4 赋予执行脚本权限cd 0.4.2.c3 && chmod +x *.sh5 启动driver与controller服务./start-all.sh6 登陆...
2019-04-22 14:19:52
1271
原创 rbd通过快照进行卷备份
rbd的增量备份和恢复快照的功能一般是基于时间点做一个标记,然后在某些需要的时候,将状态恢复到标记的那个点,这个有一个前提是底层的东西没用破坏,举个简单的例子,Vmware里面对虚拟机做了一个快照,然后做了一些系统的操作,想恢复快照,前提是存储快照的存储系统没用破坏,一旦破坏了是无法恢复的1.创建快照rbdsnap create testimage@v1rbdsnap creat...
2019-04-19 19:53:13
1348
原创 readv与writev实例
readv和writev函数的功能可以概括为:对数据进行整合传输以及发送。通过writev函数可以将分散保存在多个buff的数据一并进行发送,通过readv可以由多个buff分别接受数据,适当的使用这两个函数可以减少I/O函数的调用次数:#include <sys/types.h>#include <sys/stat.h>#include <fcntl....
2019-04-18 20:06:01
412
原创 ceph 创建创建osd并指定rocksdb与wal
for i in {e..i};do ceph-disk prepare /dev/sd$i --block.db /dev/hda --block.wal /dev/hda &; donefor i in {e..i};ceph-disk -v activate /dev/sd“$i”1 & ;done/dev/hda/与 /dev/sdb是两个ssd作为osd的wal和r...
2019-04-09 14:58:22
3501
原创 ceph rgw 高可用
软件介绍1 LvsLVS (Linux Virtual Server)到底是什么东西,其实它是一种集群(Cluster)技术,采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。...
2019-04-01 20:28:21
1161
原创 bitMap浅析
基本思想: 所谓的BitMap就是用一个bit位来标记某个元素所对应的value,而key即是该元素,由于BitMap使用了bit位来存储数据,因此可以大大节省存储空间。举例: 这此我用一个简单的例子来详细介绍BitMap算法的原理。假设我们要对0-7内的5个元素(4,7,2,5,3)进行排序(这里假设元素没有重复)。我们可以使用BitMap算法达到排序目的。要表示8个数...
2019-03-30 13:18:38
1729
2
原创 ceph 对象存储支持多用户
1.在配置文件中添加对象存储用户,eg[client.rgw.node]rgw_frontends = "civetweb port=7439"log file = /var/log/ceph/test.rgw.logdebug_rgw = 20rgw_gc_obj_min_wait = 10rgw_gc_processor_period = 302.创建用户,启...
2019-03-18 17:18:12
961
转载 ceph rgw 垃圾回收机制流程
1,删除对象后,会将垃圾数据标记在.rgw.gc这个池中2.并发的删除的work数量由参数决定rgw_gc_max_objs,而这个数量对应的个数是资源池.rgw.gc中对象的多少3.数据删除后,垃圾在数据池保存的时间由rgw_gc_obj_min_wait决定,单位秒4.rgw_gc_processor_period参数决定垃圾回收进程多长时间轮训一次,...
2019-03-18 16:48:58
3239
原创 linux shell 判断一个文件是不是链接文件
#!/bin/bashif [ -h "/nas/kvm_hcs/backup" ]then echo "yes"fi
2019-03-15 16:45:47
11128
原创 s3cmd配置bucket生命周期
1,安装s3cmd1)下载https://sourceforge.net/projects/s3tools/files/s3cmd/2)解压安装unzip s3cmd-2.0.1.zip; cd s3cmd-2.0.1/; python setup.py install2,配置s3cmd执行s3cmd --configure//填写具体参数3, 创建...
2019-03-13 15:12:06
2988
1
转载 ext4、xfs脏数据下刷周期与设置
https://blog.csdn.net/Angel_94/article/details/87815411
2019-03-12 17:33:28
292
原创 python 软件离线安装(boto3为例)
由于boto无法支持bucket的大写名称, 所以使用boto3进行代替, 看了大量的贴子和boto3的官网, 发现boto3的安装方式都是使用pip工具进行安装(pip install boto3), 但是我们的存储无法进行外网连接, 所以还是需要通过rpm包的方式进行安装但是boto3官网没有提供boto3的rpm包, 所以通过rpm search搜索到(搜索到的boto3版本有限), 如...
2019-03-11 16:13:09
6875
基于内核版本3.10.0-862.11.6.el7.x86_64内存映射块设备驱动brd.ko
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人