![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python3
文章平均质量分 51
Blogfish
想要得到未得到的东西,就要做从未做过的事情....我热爱学习,热爱分享,你不亏待我,我也不会辜负你的期望~
展开
-
Flask自定义接口,实现mock应用
问题:后端接口已提供,前端需要依赖后端接口返回的数据进行前端页面的开发,如何配合前端?print("接口返回数据:{}".format(res.text))print("接口返回数据:{}".format(res.text))flask自定义接口实现查询接口:查询全部、部分查询。原创 2023-03-02 14:52:14 · 416 阅读 · 0 评论 -
Python3连接SSH服务器并下载日志文件
ssh原创 2022-02-17 18:20:50 · 13367 阅读 · 0 评论 -
python获取mysql多个连接信息的处理方式
在自动化实现过程中,经常面临多个环境下,不同数据库参数的问题。为了让获取db连接信息更加灵活,总结一下对mysql数据库信息的读取方法,其它数据库也适用。下面是实现:首先,将数据库连接信息存入json文件第二,封装一个取json文件数据的方法class OperationJson: '''读取json数据''' def read_dbjson(self,account): with open(data_dir(current_path="database",原创 2022-02-09 18:07:26 · 818 阅读 · 1 评论 -
Python requests请求方法封装
Python requests请求方法封装,post、get、put等原创 2022-01-28 11:03:51 · 1356 阅读 · 1 评论 -
python3实现sm2加密和签名
要用sm2加密算法,首先安装加密库 gmssl在线安装方式:pip install gmsslGmSSL是一个开源的加密包的python实现,支持SM2/SM3/SM4等国密(国家商用密码)算法、项目采用对商业应用友好的类BSD开源许可证,开源且可以用于闭源的商业应用。SM2是国家密码管理局于2010年12月17日发布的椭圆曲线公钥密码算法。首先来看一下如何通过gmssl内部的包生成公私钥,实现如下。from utils.gmssl.utils import PrivateKey #这.原创 2021-09-09 15:52:57 · 5717 阅读 · 1 评论 -
post请求接口报错raise SSLError(e, request=request)解决办法
详细错误信息:self._sslobj.do_handshake() ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600) During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/me/py3.4/lib/pytho原创 2021-08-08 11:07:14 · 3569 阅读 · 0 评论 -
总结12个python代码
python有很好的可读性和简洁性,学会其中的小的技巧,运用的恰当,会让我们的工作事半功倍。以下是我总结的20个小的程序段,看似非常的简单,但是却非常的有技巧性,并且对个人的编程能力是一个很好的检验,大家应该在日常的编程中多多使用,多多练习,肯定会有帮助的。1. 字符串的翻转str1='wang jian hua'#方法1print(str1[::-1])from _functools import reduce#方法2print(reduce(lambda x,y:y+x,str1原创 2021-08-05 22:35:32 · 205 阅读 · 0 评论 -
连接cx_Oracle.DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library解决方法
出现该问题的原因为你安装的PL/SQL客户端是32位的,而Python版本是64位的,所以不兼容导致的错误。确定本地oracle安装和环境变量配置没问题时,Windows系统可以在cmd命令下执行以下代码解决:set DPI_DEBUG_LEVEL=64Linux系统执行命令:export DPI_DEBUG_LEVEL=64...原创 2021-07-08 17:09:56 · 6374 阅读 · 4 评论 -
python基础知识思维导图总结
今天给同学用思维导图整理了python基础知识,供大家复习参考学习,希望每天都有进步。鸡汤几点:没有目标永远不知道方向在哪?不去尝试永远不知道答案和结果?打破习惯、冲击惯性思维、不断学习,才能使你越来越有价值。行动永远比坐以待毙更幸运。主要内容:一、Python简介二、输入输出三、变量、数据基本类型与操作四、条件判断五、常用数据类型--列表六、常用数据类型--元组tuple、字典dict(全称dictionary)七、常用数据类型--布尔值(True原创 2021-07-04 13:57:57 · 22665 阅读 · 7 评论 -
Python3 字符串、列表、字典常用方法总结
1、字符串脑图:原创 2021-06-05 18:52:38 · 16583 阅读 · 0 评论 -
Python3之优化邮件中发送HTMLTestRunner生成的报告加附件
自动化执行完成后为了让老大们看到结果,我们需要需要在邮件中添加测试完成的报告。以往优化的HTMLTestrunner模板太花哨了,就是为了在邮件中展示结果而已,不用弄得又是加饼图、折线图啊,因为涉及到联网加载css样式问题无法正常显示的,所以我们使用Python3的最新报告模板即可。下面进入主题啦,本次优化的功能有:1.在邮件中添加邮件正文2.在邮件正文中展示报告内容3.将报告添加到附件4.在邮件正文中添加尾部文案简单说明下实现的思路:1. 引入插件from email.mime原创 2021-04-10 18:00:07 · 4984 阅读 · 1 评论 -
Python3 多线程的案例实战之重构线程方法
在工作过程中经常会遇到造批量数据的情况,造数据可以是通过请求接口或者其他写入的方式。结合实际的场景今天把之前的方法做了重构,案例还是结合post接口讲解,自己在实际应用过程中可以自由添加或者改造。首先,要导入python内置库threading、logging,线程方法和日志方法,为了让执行过程更清晰,我们添加必要的日志显示,import threading,logging具体实现过程如下,添加过程必要的说明:#控制台的日志信息,信息内容拼接字符串logging.basicConf原创 2021-03-28 11:39:49 · 11944 阅读 · 0 评论 -
python3.9 更新ddt源码及说明xlrd的使用(补充)
针对标题内容产生的思考有这么两个问题:1.不同接口案例的案例名称如何获取?2.怎么能让ddt能够支持字典?我们在处理测试数据时,会把数据转为字典格式,那么如何让每一条案例在执行过程中相对应呢。今天偶然在其中一个场景中遇到了一个问题,在另一个项目工程里面相同的代码换一个工程就不可以执行了。问题原因就在于没有很好处理字典格式的数据,导致存放在元组内的数据超出索引,纠结了半天啊。问题现象如下:好我们来修改下ddt.py源文件,注意是修改下面的方法def mk_test_name(name原创 2021-03-27 19:48:09 · 396 阅读 · 2 评论 -
Python如何读取Excel文件的数据
问题:Python如何读取Excel文件的数据?我们在自动化过程中难免会有一些测试数据要存放在Excel或者json文件、xml文件中来达到数据分离的效果,那么如何把Excel里面的数据读取出来使用呢?这里我们用到的是Python里面的xlrd这个库。其实,对于Excel来说找到它的规律处理问题就很简单了。可以确定的是列肯定是不变的,行可能会变化,只要确定了列的索引值,其实问题也容易解决。首先,我们需要导入xlrd,并继承一个打开文件的方法open_workbook。 一般的过程仔细思考下可以分为这原创 2021-03-22 20:37:37 · 1304 阅读 · 1 评论 -
python接口自动化之本地mock环境搭建过程(更新视频讲解)
我们在做接口自动的时候环境无法提供,前台发送请求后需要后端的响应。即模拟请求时,需要模拟出一个结果。比如成功返回200,失败返回400等。对于这个问题如何实现呢,下面给大家分享下实现过程。本课题需要的工具:postman、moco-runner.jar(这个包自己百度下载),本地需要有java环境moco-runner.jar 这个包是关键,可以帮助我们把请求的数据封装后返回结果,具体内部的实现可不细究。首先,我们把下载的jar包放到某路径下,如下图:然后,开始编写json文件,这里原创 2021-03-06 23:31:58 · 614 阅读 · 0 评论 -
一种包括增删改查数据库表的实现函数
好久没写博了,新年第二天重新封装了一个可以增删改查数据表的方法,让使用更高效。持续精进,持续优化为最优,只是个人的一个思路,供大家参考。def execute(self, sql, params=None): '''可执行增删改查操作''' sql = sql.strip() if sql.split()[0].lower() == 'select': #lower() 函数将字符串中的大写转为小写,其实也无所谓啦 sqlType = 1 elif原创 2021-01-02 13:42:42 · 439 阅读 · 4 评论 -
Python如何去除列表中重复数据
在爬虫技术中经常会遇到爬取的临时数据包含重复内容的情况。比如下面的例子,如何去除下面列表中的重复数据?data = [{‘name’:‘小华’,‘score’:100},{‘name’:‘小A’,‘score’:98},{‘name’:‘小Q’,‘score’:95},{‘name’:‘小华’,‘score’:100}]通常我们想到的做法是使用list加set方法,注意这里是一个字典类型的数据,这样做肯定不能不行的。可以定义一个好人重新对数据组装一下就可以了,实现如下:def Quchong(原创 2020-11-25 08:39:55 · 2634 阅读 · 1 评论 -
使用ddt数据驱动方法执行批量数据并保存每条数据结果
在实现自动化的时候为了让更少的代码帮助执行更多的应用场景,我们可以利用python里面数据驱动ddt来实现。ddt这是一个强大的神器,怎么玩都可以看你的需求是什么样了。下面我来分享一个场景是如何从excel中读取测试数据,并把测试结果保存到每天案例中,加上一点的判断。实现的核心代码如下,可以参考到自己的项目中:def writeResData(file,values,respValue,jsonData): #这里说明下参数的含义:file-文件路径,value-excel的数据,respVa原创 2020-11-29 11:16:05 · 642 阅读 · 1 评论 -
使用python-docx将爬取结果保存到word
如题实战内容需要满足的插件库是python-docx==0.8.10 这个在python3 里面绝对是支持的。需要注意的是如果你本地安装了docx建议先卸载docx,然后去官网下载python-docx==0.8.10 版本,本地使用python命令进入插件目录安装即可。本期题目还是以爬虫案例为主,数据是数据库爬取好的,通过日期提取数据库中的关键内容并写入Word文档中。关于爬虫及数据保存大家可以参考本人之前的博客,整个过程都有详细讲解。下面是本期的主要实现代码import docxfr..原创 2020-11-29 10:50:00 · 5533 阅读 · 1 评论 -
Python数据分析之股票信息可视化实现matplotlib
今天学习爬虫技术数据分析对于股票信息的分析及结果呈现,目标是实现对股票信息的爬取并对数据整理后,生成近期成交量折线图。首先,做这个案例一定要有一个明确的思路。知道要干啥,知道用哪些知识,有些方法我也记不住百度下知识库很强大,肯定有答案。有思路以后准备对数据处理,就是几个方法使用了。接口地址参考:https://tushare.pro/document/2?doc_id=25涉及知识库:tushare-一个财经数据开放接口; pandas-实现将数据整理为表格,重组数据;matplotlib.p.原创 2020-11-08 11:19:09 · 2206 阅读 · 0 评论 -
第一步django开发环境设置及验证
第一天学习django遇到一些坑,之前在python3环境下安装的django是最新版本的。 后来发现使用命令创建项目时不能创建项目目录,报一堆错误。百般周折寻找问题原因......各种改环境,确认配置。十分肯定的说环境配置肯定不会有问题的。最终,找到在官网发现了不同,虽然是英文的百度一下还是可以理解的。 也就是最新版本的django对python命令创建项目时内置函数并不支持,只能卸载高版本django插件,改为v2.1.4版本的django本地安装。安装成功后,无论在cmd还是terminal环境下都可原创 2020-11-07 23:11:57 · 212 阅读 · 0 评论 -
python+pandas导出数据库数据到Excel不同的Sheet页
今天给大家分享如何实现导出数据库特定的数据存入Excel文件的不同sheet页,特定数据根据sql数据查询取出。常用于数据分析前置处理数据,中后期进行数据分析。万事开头难,艰难险阻迎刃而上,必克之!实现思路:1.ddt数据驱动方法2.静态数据处理方式3.pandas方法库- ExcelWriter,to_excel()首先封装一个读取Excel文件的方法,然后下面是导出数据的实现步骤:【1、读取Excel方法】:#读取Excel的内容def getExcelTestDat原创 2020-10-31 09:52:28 · 4682 阅读 · 0 评论 -
如何在Jenkins构建完代码后,能够查看HTML Report?
有同学说想要在Jenkins构建完代码后就能查看构建后的结果报告,不知道怎么配置。这里我详细的说明一下步骤,对于想学习的同学有很大帮助。本次说明仅针对 python3+request+unittest框架的案例作详细说明。想要完成这项配置过程,必须满足如下条件:1.Jenkins版本不能使用最新版本v2.4及以上版本(因为报告插件仅支持到2.176),v2.232及以下版本均可,稳定版可以是v2.176版本2.更新插件最好下载后,导入安装,下面会详细说明一、下载及安装Jenkins下原创 2020-10-22 21:42:17 · 1055 阅读 · 0 评论 -
Python爬虫技术-根据【理财】关键字爬取“巨潮资讯网”的title
知识要点还是之前的方法:1. .*? 匹配全部内容的正则2. selenium中元素定位方法 find_element_by_xpath 绝对路径的获取方法3. 字符串内容拼接方法 .join()实现步骤:1.打开Chrome浏览器,并访问被测地址2.自动翻页获取网页源码3.循环遍历每页包含关键字【理财】的标题title4.正则表达式区标题内容,并对数据进行清洗案例背景页面:详细代码实现如下:#!/usr/bin/env python# -*- co...原创 2020-10-19 21:52:43 · 1392 阅读 · 1 评论 -
Python 数据挖掘将爬取数据每日邮件推送给指定人和附件内容
爬取数据想要实时知道每天的动态,加上邮箱推送岂不是更好,每天我在地铁上就能知道今天发生了什么大事。前提是先定时爬取数据,然后推送数据在数据库读取,定义下主题即可实现,大部分代码参考之前unittest测试用例时的邮箱配置。我们使用两段代码,一部分是将标题内容在邮件中显示,二部分是在邮件中添加附件和链接我习惯多做,哪怕失败,废话不多说将调试后的结果经验分享给大家,下面是详细代码:#print('=====================标题显示在邮件中====================='原创 2020-08-23 11:32:25 · 470 阅读 · 0 评论 -
Python数据分析-合并数据到一张Excel表
前面学习了网站数据的爬取,网站页面会定期更新需要注意标签里的值可能会发生变化,当遇到爬取不到数据时F12可查看下标签值是否变化,有变化的更新到正则表达式里即可。本节课的标题主要是实现文件数据的合并,用到的知识说明下:方法pandas里面的merge() 函数前面我们爬取了10天、30天、60天、180天的数据,但是都放在了一张表里,如何在一张表里体现多个阶段的数据呢,下面由华哥给大家码一下,特别简单,就一个方法有啥难的。预期结果,多阶段的数据合并到一张表效果:注意你本地需要有提前原创 2020-08-23 09:48:11 · 720 阅读 · 0 评论 -
Python3数据挖掘之百度资讯搜索数据并入库(最新)
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020/8/22 13:07# @Author : Jianhua Wang# @Site : # @File : 最新百度爬取并存入数据库代码.py# @Software: PyCharmimport requestsimport reimport pymysqlheaders = {'User-Agent': 'Mozilla/5.0 (Window.原创 2020-08-22 13:34:04 · 401 阅读 · 0 评论 -
Python3 数据挖掘系统搭建(四)
上一节学习了数据清洗如何对内容去重,这一节继续学习一个完整的挖掘系统是怎么构建的,以百度新闻数据为例。首先要建立评分系统需要创建一个数据表,起名为article吧,字段如下图:梳理下思路,想清楚我们要干啥,我总结了下步骤,其实就是把前面内容作了一个融合‘合成一个完整的系统’:1.获取网页源代码2.编写正则提炼内容 和前面的写法一样,不懂得翻翻前面的代码3.数据清洗,日期格式的统一处理4.数据深度清洗,去重及内容替换5.打印清洗后的数据6.将数据存入数据库及数据去重 ...原创 2020-08-08 18:46:11 · 366 阅读 · 0 评论 -
Python数据挖掘-数据去重及清洗优化(三)
上节课我们实现了数据的自动爬取并存入数据库,但是数据挖掘的工作没有结束,更厉害的功能还在后面。今天要学习的是如何把数据去重、统一日期格式,之前的基础知识就不废话了,不懂得看看我前面写的内容,不明白的知识点自己百度,网上有好多解释。直接上代码讲解注意一定要练习,哪怕是看着一点点敲也比复制领会的快,我们学习的是解决问题的思路和方法,关键的知识点一定要掌握。#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020/8/8 08:5原创 2020-08-08 09:40:14 · 1281 阅读 · 0 评论 -
python实现搜狗新闻挖掘(一)
本节课学习搜狗新闻网的重点新闻挖掘先看下挖掘的效果:思路:1、地址-地址中的目标内容2、取关键内容使用正则表达式- (.*?)3、定义目标,爬取哪些公司内容4、for循环url,然后拼接内容详细代码如下:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020/8/1 18:24# @Author : Jianhua Wang# @Site : # @File : 搜狗新闻数据挖掘原创 2020-08-01 18:37:55 · 781 阅读 · 3 评论 -
Python实现连接FTP并下载文件
有时候我们需要从FTP下载文件并做数据分析,首先我们需要能连接到ftp才能做到取文件并进行数据分析。按照正常的思路来解决这个问题是不难的。下面的代码是改良过得,借鉴了别人的一部分哦。下面是我的实现过程:首先,我们需要引用连接ftp的插件,还有要建立与服务通信的话需要创建socket模块。socket的思路我理解是这样的过程,先是需要绑定本地ip和端口,监听连接是否是通的;然后循环接受来自客户端的连接请求,并把接受传来的数据发送给对方数据,最后关闭连接。整个过程官网的解释是通过套接字来关联起来的,不管是怎原创 2020-06-25 21:06:49 · 1604 阅读 · 0 评论 -
pandas写入不同的时间序列到Excel指定列
在接口测试中我们经常遇到请求参数包括两组不同时间的问题,要保证每次的时间序列的唯一时才不会导致订单号重复,从而达到预期批量的效果。当没有捷径的时候我们可以定义多个时间来获取,但是这种方法需要每次创建多个时间序列,比较繁琐。针对这个问题我研究了一个万能的方法,可以解决这个问题。不得不说Python里面的方法是很强大的,只有遇到问题的时候才能激发出你解决问题的欲望,不断挖掘出适合的方法,适合的就是正确的。只有不断尝试不断失败,才能总结出丰富的经验!废话一堆了,直接上代码....安装读写Excel原创 2020-06-21 12:37:09 · 1429 阅读 · 1 评论 -
Python3【pyecharts 0.5.11】pyecharts图表生成总结
首先,下载pyecharts 0.5.11版本命令安装:pip install pyecharts==0.5.11 (注意是两个等号)其次,安装生成城市、国家图必备的插件,如下图:插件准备完毕,来看实例:实例一:生成中国地图import numpy as npfrom pyecharts import Mapareas = ['北京','广西','湖南','江西'...原创 2020-04-14 18:27:59 · 4463 阅读 · 1 评论 -
python连接oracle数据库查询
直接上源码说明吧,如下:开头引入必须的插件,连接oracle需要导入cx_Oracle# -*- coding=utf8 -*-import cx_Oracleimport sys,osfrom selenium import webdriver#编码格式,utf8if sys.getdefaultencoding() != 'utf-8': reload(sys) ...原创 2018-12-19 15:34:41 · 3404 阅读 · 2 评论 -
xpath识别元素-高级版实例
#登录页元素输入用户名 driver.find_element_by_xpath('//input[@placeholder="用户名"]').send_keys("bl201")【说明】://-表示在当前元素的位置下, 找到标签input, 并且匹配属性为placeholder元素且内容为“用户名”。 #输入短信验证码driver.find_element_by_name('vCod...原创 2018-12-14 11:06:50 · 702 阅读 · 0 评论 -
selenium webdriver一种解决打开chrome浏览器的过程
1、下载59或58版本的Chrome浏览器 下载地址:http://www.pc6.com/SoftView/SoftView_22726.html 2、下载对应的驱动,驱动下载地址如下(当前我使用的版本是2.32):http://npm.taobao.org/mirrors/chromedriver/ 3、安装chrome浏览器,安装完成将chromedriver....原创 2018-12-20 17:31:24 · 7130 阅读 · 0 评论 -
Python3 识别图片验证码的步骤
注:需要导入 PIL中的Image和ImageEnhance、pytesseract处理思路:1、进入登录页,使用截图功能将当前页面截图2、定位验证码位置3、获取验证码x,y坐标轴4、获取验证码的长宽5、写成自己需要的长度6、打开截图并从截图中获取需要的区域7、保存截图8、打开截图9、设置图像加强模式10、识别验证码11、将验证码打印出来(或在其它...原创 2018-12-10 14:25:45 · 3356 阅读 · 2 评论 -
selenium+python web自动化测一般过程
selenium是进行web自动化测试的;把selenium + python写用例的过程中需要注意的地方和问题点简单的给大家分享一下,互相学习进步。1、Selenium简介Selenium 是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE、Google Chrome、Moz...原创 2018-12-28 16:41:09 · 675 阅读 · 0 评论 -
(支付接口)签名验签和请求参数加密方法
当我们在测试支付接口的时候,发现每个接口需要将请求的敏感数据加密后才能请求接口,遇到这种问题怎么解决呢?特别是当我们在写python接口自动化测试脚本的时候,这是必须要解决的问题。下面我来详细的写下这个过程:首先,我们需要拿到商户的公钥和公司的公钥,商户有自己的私钥,私钥只要商户自己知道。加密的时候拿公司的公钥加密、签名时拿商户的私钥签名。 这样传送的数据会拿商户的公钥去验签才能通过。...原创 2019-08-12 13:48:02 · 4588 阅读 · 1 评论 -
Python3爬取某乎网站的图片,并保存到本地和数据库(亲测可用)
语言:Python3.7数据库:mysql需要导入的工具包,如下:from urllib.request import urlopen #注意这里的写法urllib不能直接写为import urllib要加上它的对象requestfrom bs4 import BeautifulSoupimport reimport timeimport pymysql.cursors...原创 2018-12-13 17:04:24 · 4484 阅读 · 2 评论