- 博客(23)
- 收藏
- 关注
RSS订阅原创 华为MRS_HADOOP集群 beeline使用操作
后面通过请教开发得知，华为集群采kerberos认证方式，需要先安装hive客户端并在每次执行beeline前进行kerberos认证（类似登录）且仅在当前ssh会话中有效，然后再执行相关命令即可。由于项目测试需要，计划在华为hadoop集群hive上创建大量表，并且每表植入10w数据，之前分享过如何快速构造hive大表，感兴趣的可以去找一下。但是执行过程中发现速度远不及预期，单表复制新建耗时约1.5s，但是批量sql执行后，越来越慢，目标需要创建上万数据表，因此速度上不满足使用需求。
2023-03-29 16:32:20
841
原创 python 多线程灵活生成文件（指定线程数文件数）
为了满足创建性能需求可能是多个指定目录创建，创建的文件个数较多，且调度周期间隔短）所以需要快速的增量创建。使用多线程开发
2022-06-10 17:40:36
360
原创 python之paramiko文件夹远程上传
Paramiko模块是一个用来连接远程服务器，进行文件上传下载和shell命令执行的PYTHON模块，使用方便。但是它不支持整个文件夹的上传，近期需要分发上传一个离线工具包到服务器去执行，考虑到远端可能没有安装压缩命令，所以想直接传输完整文件夹（含有嵌套的文件夹)，但是paramiko模块的put方法只支持文件的上传。因此基于put方法开发了一个文件夹的上传方法，在这里共享一下，主要思路是递归遍历文件夹目录，取得所有文件的路径，然后一遍去判断远程目录是否创建（没有则创建），一边用put方法去上传文件。直
2021-12-23 20:17:09
3155
11
原创 基于web接口的自动化测试选型
基于web接口的自动化测试选型近期投入的一个项目需要做核心功能的测试场景自动化，以应对部署复杂和跨系统间的流程验证。在技术选型阶段，个人首先想到的是PY+unittest，项目架构师推荐了Jmeter，之前的项目遗留了YAPI平台（一个接口测试管理平台）。为了评估各自的优缺点和相应的工作量评估，选择了了一个需要实现的测试场景，花了一周多的时间实现了这三种方案的落地，其中YAPI 效果如下：一种平台式的接口管理和测试平台，界面化操作吗，支持接口导入和mock操作，可以和swagger打通进行接口管理。
2021-11-15 20:44:29
8921
1
原创 PYTHON 实现带图片验证码的登录接口的自动请求
项目自动化测试实现过程中，应用登录是第一关，带有图片验证码的登录接口往往是个不大不小的坑，那么如何实现验证码的识别呢，往下看！ 实现过程如下，通过抓取页面分析验证码请求接口，将验证码图片下载到本地引入pytesseract包进行图片的orc识别，获取返回的验证码数据，然后请求登录import pytesseractfrom PIL import Imageimport datetimeimport requestsimport timeimpor...
2021-08-25 19:50:06
1314
2
原创 python 引入pyexecjs调用js代码实现字符的RSA加密过程
##加载js代码js_oop = execjs.compile(js_content) ##运行js代码中的方法，并传入方法所需的参数rsa_passwd = js_oop.call('RSAUtils.encrypt',passwd,exponent,modulus)故事背景近来在做项目自动化测试时，遇到登录接口传入的密码参数是经过 js进行RSA方式加密的，通过抓取请求过程，获取到了原始密码加密的js过程代码，但是加密代码还比较复杂，尤其是js语言编写的看着总是不得劲，想通过pyth.
2021-08-25 19:33:37
911
1
原创 python实现多线程往FTP上传文件
利用ftp服务是常见的文件服务，在项目利用也很多，现有项目使用ftp服务来下发文件来驱动测试。在以往过程中想通过多线程来提高多文件上传的效率，但是libftp似乎不支持建立一次连接，来实现多线程传输的过程。尝试修改成一次链接一次传输的多线程调用方式，可以实现，代码如下：# coding=utf-8# writre by qy.wuimport timeimport threadingfrom ftplib import FTPimport osdef conn_ftp(): ftp =
2020-12-21 11:30:20
1466
1
原创 PYTHON线程池使用
python 编程guochengzh，可能会遇到一些较为专一的处理方法，该方法没有过多的耦合，输入简单，但是但进程单线程的情况下执行速度慢，称为程序运行的痛点。线程池的使用，可以很好的为我们解决这一痛点。下面代码简单演示一下：import time,datetimefrom concurrent.futures import ThreadPoolExecutordef test(arg_1,arg_2): print (datetime.datetime.now(),arg_1,ar
2020-12-08 17:09:06
178
1
原创 python实现mysql跨库的表结构和表数据自动同步
准备对某个数据库重要的数据字典表进行变更监控。首先需要更具传入的来源表 进行目标表的自动创建和表数据的同步。核心代码如下：自动创建表结构来源库执行 ：create_sql = show create table tablename目标库执行 excute(create_sql)自动同步表数据q_res = select count（*）from information_schema.COLUMNS where table_name =tablenamestr_str = '%s,'*(int
2020-12-01 17:27:18
1671
原创 PYTHON遍历FTP目录 获取其下所有文件记录
最近有个需求需要统计ftp上指定目录下的所有文件信息，因为目录层级较深，不同目录存在重名文件，后期会需要根据文件大小做一些筛选。所以计划对初始目录进行遍历，输出其下所有文件的全路径和大小。代码如下：#coding=utf-8# writre by qy.wufrom ftplib import FTPimport pymysqldef get_ftp_dir(start_path): ftp_ip = '' user = '' passwd ='' start_
2020-09-13 11:02:08
4239
3
原创 PYTHON 读取mysql内容存储为字典嵌套列表形式
现有一数据表结构和数据如下：现有目标是要在相同name的数据中取出age的最大值。思路如下：1.结构转化将数据读出构造成{‘name1’：[age1,age2,age3],‘name2’:[age1,age2,age3]}的字典。既字典的key为name，value为相同name所对应的age的list。2.利用max取list最大值取max(dict[name])即可得到相同name的age的最大值。具体代码实现如下：#coding=utf-8# writre by qy.wufr
2020-09-13 10:42:56
1355
原创 快速向oracle中批量插入数据
当oracle表主键为自增类型时，可采用sql脚本快速插入一些数据来达到丰富测试场景的目的，具体如下：beginfor i in 1…5000:loopinsert into “table_name” values (i,col_name2,col_name3…);commit;end loopend begin到此即可快速插入5000条数据到对应的table中去，注意commit必须执行，否则数据即便能查询，也是仅限于当前事务。在新的事务查询或用户登录后就查询不到了。正常关闭sql窗口会自
2020-08-30 07:41:45
2374
原创 linux环境下安装mysql,解决远程方式权限限制问题
背景最近更换工作，自己买了个电脑，需要做下基础环境。mysql虽然工作中经常用到，但是工作以来自己安装的次数基本没有，因此本次安装也踩坑了。现在分享一下过程，作为总结。1.安装包下载》有网络的环境：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz （下载到当前目录下）》离线安装包下载地址https://dev.mysql.com/2.解压tar -z
2020-07-06 15:33:36
227
原创 python连接es 根据查询结果进行删除操作
项目用到es存储部分数据，但是es2.X版本后不支持批量的复合查询删除操作了，使用es_head无法批量操作。因此尝试使用python来操作es进行查询结果的批量删除操作。1.在ide中安装elasticsearch模块（需要联网）2.代码如下#coding=utf-8import requestsimport jsonimport timefrom elasticsearch import Elasticsearchdef es_del(): #连接es es = El
2020-06-09 19:59:55
949
原创 python 模拟http请求服务端，完成对异步回调接口的监听
1.背景项目上暴露的翻译接口支持异步调用，调用参数中可以根据填写的回调地址完成请求实际响应数据的发送。异步翻译调用接口简单易懂。但是测试接口实际功能时，就需要模拟一个http客户端用来接收异步返回的响应数据，用以验证接口功能的完整性。2.异步请求接口异步请求接口，功能表现为发送请求后会先返回一个请求状态的响应数据，一般表示服务端已经接受请求，请求成功。请求参数中会带有回调地址，待请求服务端完...
2020-04-20 13:56:48
2792
原创 python利用xlrd和xlwt完成对excel的数据读取处理和回写
有一个用到翻译引擎的项目需要对自研产品和友商进行效果比对测试。提供的参考数据为各语种方向的测试文本和标准答案。形式如下工作思路是读取excel内容，分别请求两个产品的相关翻译接口，把两者结果输出到excel中后，人工进行主观体验效果好坏。两者翻译接口都比较容易。自研接口友商接口接下来直接上代码#coding=utf-8import xlrdimport xlwtimport...
2020-04-08 14:28:47
887
原创 杂谈 python脚本调用接口进行性能和稳定性测试（套路）
综合近来相关接口和性能相关的测试工作，今天突发“奇想”，总结出一套自己适用的性能测试套路。草草记录想法如下：性能测试=接口+多线程+服务器监控 +java熟悉（问题定位）当然以上目前已python脚本为主要工具。所需要的辅助技术如下：接口测试： 接口调用 python 、postman、jmeter、 接口分析：fiddler，chrome 多线程： 并发 锁 服务监控：lin...
2020-04-01 20:18:09
826
1
原创 python多线程向mysql中写入数据
项目需要模拟一个量级数据量场景，来对相关查询接口的查询性能进行测试。使用mysql数据库，原来写的一个简单的mysql脚本。#coding=utf-8import pymysqldef sfzh_sql_insert(): conn = pymysql.connect(host='172.31.100.11', user='root', password="root", ...
2020-03-25 15:20:27
5527
原创 linux上 搭建http服务 作为git服务端
项目上使用git服务作为配置中心，为了方便要在服务器上搭建http服务，作为git服务的代理一、安装httpd执行命令yum install httpd -y完成安装，启动httpd服务systemctl start httpd.service查看httpd状态systemctl status httpd.seevice服务启动成功，结果如下；也可以通过浏览器访问，i...
2020-03-10 16:25:37
1038
原创 python 在本地创建http服务实现文件共享
遇到一个接口传参需要一个共享的文件地址，为了测试接口利用python快速创建共享文件目录，目录下的文件均可被访问读取。下面介绍两种方法方法一 python脚本脚本实现#coding=utf-8import SimpleHTTPServerimport SocketServerimport os##默认的共享路径print os.getcwd()def httpserver(pa...
2020-02-26 15:29:46
1073
原创 使用jmeter完成登录功能的接口测试和性能测试
jmeter安装 略过打开jmeter 习惯配置中文模式 选择简体中文即可3.新建一个测试计划（test_plan）并命名。右键添加用户组（线程组）。请求均需要在组下作用。这里取名200并发，设置线程数为两百。接下来添加请求登录的接口信息。右键添加httprequest填写接口信息，web接口请求参数信息可以直接使用google开发者工具获取或是其他接口抓取工具如fiddler...
2020-02-25 11:31:40
5727
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人