- 博客(114)
- 资源 (1)
- 收藏
- 关注
原创 ceph rgw 桶分片之reshard
Ceph RGW(RADOS Gateway)的 reshard 功能是用来动态调整对象存储的分片(shard)数量,从而优化性能和存储利用率。
2024-09-26 23:10:48 551
原创 使用vdbench对kvm rbd cache none/writeback两种模式进行读写对比测试
使用vdbench对kvm ceph rbd cache 进行对比测试(writeback/none)
2024-04-28 15:24:39 601
原创 s3cmd工具使用
root@testserver01 ~]# s3cmd setpolicy ./policy.txt s3://abc (为指定桶设置policy)[root@testserver01 ~]# s3cmd put anaconda-ks.cfg s3://abc/ (往指定桶里面上传文件)[root@testserver01 ~]# s3cmd get s3://abc/pro_update.txt (从桶里面下载文件)1. 安装s3cmd工具。3. s3cmd使用。
2024-03-02 20:54:53 711
原创 centos7单节点部署ceph(mon/mgr/osd/mgr/rgw)
单节点部署ceph各组件,mon/mgr/osd/mds/rgw。提供块,文件,对象存储
2024-03-02 12:33:15 1161
原创 linux系统内存used占用过高问题排查
系统used内存占用过高,top查看又比较低,综合排查系某脚本不断创建进程,每个进程占用较少,综合起来就消耗比较高了。
2022-08-25 18:33:44 9247 2
原创 shell脚本 查看kafka积压消息
#!/bin/bashn_dir=`pwd`# 每次执行前,先降临时文件清空>.x.log# 查看所有组,并挨个查看消费情况,将结果保存到文件cd /opt/kafka/binfor i in `./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092 --list`do ./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092.
2022-05-18 16:31:52 14938
原创 Cassandra 单机部署
下载cassandracd /optwget https://dlcdn.apache.org/cassandra/3.11.13/apache-cassandra-3.11.13-bin.tar.gztar xvf apache-cassandra-3.11.13-bin.tar.gzmv apache-cassandra-3.11.13-bin cassandramkdir /opt/cassandra/{data,commitlog,saved_caches,hints}创建cassa
2022-05-18 16:24:02 15249
原创 prometheus 部署
下载地址: https://prometheus.io/download/wget https://github.com/prometheus/prometheus/releases/download/v2.34.0/prometheus-2.34.0.linux-amd64.tar.gzwget https://github.com/prometheus/alertmanager/releases/download/v0.24.0/alertmanager-0.24.0.linux-amd64.tar
2022-05-16 16:03:16 14393
原创 Jmeter 实现mqtt协议压力测试
1. 下载jmeter,解压https://jmeter.apache.org/download_jmeter.cgi以 5.4.3 为例,下载地址: https://dlcdn.apache.org//jmeter/binaries/apache-jmeter-5.4.3.ziplinux下解压: unzip apache-jmeter-5.4.3.zip2. 下载mqtt-jmeter插件下载地址:https://github.com/emqx/mqtt-jmeter/releasesh
2022-05-16 15:41:05 20561 2
原创 python 自动识别图形验证码
本文以知网注册验证码为例1. 安装tesseract,并将路径加到环境变量中下载地址:https://digi.bib.uni-mannheim.de/tesseract/2. 安装pytesseractpip install pytesseract代码示例# coding = utf-8import timeimport pytesseractfrom PIL import Imagefrom selenium import webdriverdef.
2021-08-22 09:27:03 27997
原创 shell 格式化数据小脚本
shell处理文件,进行字符串格式化,添加单引号或者双引号#!/bin/bashif [ $# == 0 ];then echo "没有带文件"; exit 0;fi>.tempfilefunction for_in_file_two(){for i in `cat $1`do echo '"'$i'",'>>.tempfiledone}function for_in_file_one(){for i
2021-08-20 21:31:44 27344
原创 爬取csdn,排名前200作者的原创文章
1. 队列保存前200位作者用户名,每次取一个出来用独立线程取获取其所有的原创博客2. 使用线程锁,写csv文件,防止多线程写入错乱 ( with csv_writer_lock:)3. 每次最多运行5个线程,并行爬取5个用户的博客# coding = utf-8import csvimport jsonimport threadingimport timeimport osimport jsonpathimport requestsfrom queue impo
2021-08-20 21:24:46 27138
原创 python 爬取全国最新省市区数据,并存入表
本文通过调取高德行政区划查询接口,获取最新的数据信息(省、市、区、经纬度、行政级别、城市编码、行政编码等),并通过mysql.connector存入mysql数据库表结构设计如下:CREATE TABLE `districts` ( `districtId` int(11) NOT NULL AUTO_INCREMENT, `districtPid` int(11) DEFAULT NULL COMMENT '上级ID', `name` varchar(32) DEFAULT NULL
2021-08-08 23:08:04 29739 2
原创 python 之免费ip代理池
基于proxy_pool,部署了一个开放的免费ip代理池,提供出来供大家使用。数据有效性每2分钟更新一次。地址:http://proxy.linuxdba.ltd/all/开源项目地址:https://github.com/jhao104/proxy_pool
2021-08-06 22:26:55 31460 1
原创 python随机切换代理请求数据
# coding = utf-8import randomfrom time import sleep, ctimeimport timeimport requestsurl = 'http://linuxdba.ltd'proxies_list = [{'http': 'http://120.196.112.6:3128', 'https': 'https://120.196.112.6:3128'}, {'http': 'http://121.36.20.
2021-08-05 23:02:16 47727
原创 爬取站大爷的免费ip代理
coding = utf-8“”"Created by linuxdba at 2021/8/2mail: linuxdba@qq.com“”"import requestsfrom lxml import etreebase_url = ‘https://www.zdaye.com’url = ‘https://www.zdaye.com/dayProxy.html’header = {‘User-Agent’: ‘Mozilla/5.0 (Linux; Android 6.0; Ne
2021-08-05 22:47:21 30248
原创 docker 部署gitlab 、设置初始密码及外部访问地址
docker pull gitlab/gitlab-cedocker run --detach \--publish 8443:443 --publish 8880:80 \--name gitlab \--restart always \--volume /xgj/gitlab/config:/etc/gitlab \--volume /xgj/gitlab/logs:/var/log/gitlab \--volume /xgj/gitlab/data:/var/opt/g
2021-07-20 21:36:06 22705
原创 python 生成6位随机验证码
# coding=utf-8import randomfrom captcha.image import ImageCaptchadef randomText(textArr): length = len(textArr) if length < 1: return '' if length == 1: return str(textArr[0]) randomNumber = random.randint(0, lengt.
2021-07-02 15:05:58 30660
原创 python 解析页面内嵌链接,并访问是否正常
import timeimport urllib.requestfrom bs4 import BeautifulSoupt = time.time()def scanpage(url, suburl): websiteurl = url t = time.time() n = 0 html = urllib.request.urlopen(websiteurl).read() soup = BeautifulSoup(html, "lxml") .
2021-07-02 14:57:22 29350
原创 telnet Connection refused 端口不通处理
telnet 不通1. 防火墙屏蔽,iptables等放开端口处理2. 没有启用对应端口的侦听,需有侦听进程,通过netstat -tlpn查看是否有侦听。如没有,可通过nc 启用侦听后再telnet没有启用8080端口,使用nc -lp 8080 & 命令开启8080的tcp侦听,在端口启用列表里面能找到了,再telnet就通了,说明8080端口正常可用。...
2021-05-28 22:52:26 23343
原创 脚本自动检测网站是否可用,异常时邮件提醒
# cataccess_cosmoplat.sh#/bin/bashcd /usr/local/scripts/cosmoplat>.real_log/usr/bin/curl https://www.cosmoplat.com | grep '沪公网安备31011702004474号' > .real_logfunction add_count(){count=`cat .count`b_count=$(($count+1))echo $b_c..
2021-05-17 22:51:25 31174
原创 apache benchmark 做接口压力测试
1. 安装压测工具包,httpd-toolsyum install httpd-tools2. post 请求将参数放在文件里面,159_root -->cat GetRsOrderInfo.txt{"method":"GetRsOrderInfo","orderId":2785629,"version":"v0.1.0","localHSFVersion":"8.2.574","localCKVersion":"9.1.498","nativeVersion":"ljck..
2021-05-16 23:18:35 32024
原创 iptables 经验总结,及实战实例
写防火墙一般写进来的防护INPUT,出去的OUTPUT不写防火墙先放行,再设置默认策略iptables -P INPUT ACCEPT先放行22,再放行其他的端口再设置默认策略为drop,这样非范围内的就不能上来了为安全起见,操作的时候,先看下input的默认策略,如果是DROP,执行-F, 就不可以再上去了。最好建一个crontab, 15分钟后自动执行,完事之后再停掉,写iptables -P INPUT ACCEPTiptables -F对...
2021-05-16 23:13:23 4302
原创 解决 group_concat 默认长度限制
原因:mysql的group_concat默认连接长度为1024字符,也就是说你需要连接后的连接超过1024字符,它只会显示这么长,其余部分都会被截取丢掉。解决办法:(1)GROUP_CONCAT有个最大长度的限制,超过最大长度就会被截断掉,你可以通过下面的语句获得长度: SELECT @@global.group_concat_max_len; show variables like "group_concat_max_len"; 使用以下语句设置: ...
2021-05-16 23:08:55 1009
原创 postfix mailx发送邮件,telnet sina/163/126/qq等25号端口不通时,可走ssl 465、tls 587端口发送邮件
参考:https://blog.csdn.net/liuy5277/article/details/77097381,如果telnet smtp.sina.com 25 可通的话,可直接mail邮件即可一般情况下25是不通的,此时可以用465、587端口,做ssl 或者tls 加密,(465、587端口一般可以telnet连接)以163邮箱服务器为例:/etc/mail.rcset from=linuxdbaxxxxxx@163.comset smtp=smtps://smtp.163.
2021-05-16 23:04:18 4431
原创 Linux 之间 scp免密传文件
A、B两台linux机器A机器scp文件到B机器A机器上:ssh-keygen -t rsa cat .ssh/id_rsa.pub将内容追加到B机器上的.ssh/authorized_keys 里面
2017-08-11 14:47:40 2677
原创 postfix 实现自动发邮件
环境 CentOS 6安装postfixyum install postfixinet_protocols 修改为 ipv4inet_protocols = ipv4重启postfixservice postfix restart测试:echo "Mail Content" | mail -s "Mail Subject" linux
2017-08-11 14:42:29 2608
原创 Selenium 找不到元素的处理方法
1、 加默认等待时间,全局性,对每个查找元素都适用,最长等待10秒钟WebDriver wd;wd.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);2、对具体元素进行设置WebDriverWait wait = (new WebDriverWait(wd, 10));wait.until(new
2016-05-16 10:23:13 4931
原创 抓取微信群聊人数,并保存到excel表格
操作流程:1. 通过selenium调起微信web页面;2. 扫描二维码,登录;3. 遍历列表,并抓取群聊人数;4. 将结果写入excel表格。注:用到的selenium库,excel操作库,chromedriver请网上查找下载并添加到运行库里面或者放到指定目录(详见代码)代码:package com.yang.selenium;impor
2016-05-11 11:45:05 8415
原创 java 自动化测试小功能集锦
1. java 调用执行shell 命令http://www.mkyong.com/java/how-to-execute-shell-command-from-java/
2016-02-23 19:40:29 2148
原创 UiAutomator 测试环境搭建
1. 安装Centos 系统,镜像下载地址mirrors.163.com(请下载centos7, 安卓sdk里面的adb需要用到glibc,6里面的glibc版本已经不再受支持)2. 安装必要的编译包,gcc,make,java-jdk-devel3. 下载ant,解压,并加入到path里面去, 地址:http://ant.apache.org/bindownload.cgi4. 下载
2016-02-23 15:08:29 1302
原创 Selenium 获取web页面Textarea内的文本信息
通过getText() 方法返回为空,通过String req = wd.findElement(By.id("req")).getAttribute("value"); 解决
2016-01-12 19:06:16 9657
原创 UiAutomator实现打电话功能
测试代码:package com.yang.clicktest;import com.android.uiautomator.core.UiDevice;import com.android.uiautomator.core.UiObject;import com.android.uiautomator.core.UiObjectNotFoundException;import
2015-09-22 17:38:06 2969
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人