自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(37)
  • 收藏
  • 关注

原创 第二十三章 加密逻辑

MD5是一个大的hash算法。AES加密后就不能解密了,必须重写。能装pycrypto就装这个。防止撞库的情况,可以加严。

2024-04-03 00:22:19 238

原创 第二十二章 抓包工具和PyExeJs模块

点击安装即可。

2024-03-29 00:05:28 224

原创 第二十一章 Jquery &ajax

存放到html文件的同级目录。jquery的选择器。设置/获取CSS样式。

2024-03-26 23:39:44 413

原创 第一章 python自动化模块

封装读取数据库内容,读取1条,读取多条,读取全部,判断是否存在,更新。封装读取测试用例,随机生成实例,名称替换数据。执行测试,扫描用例,输出测试报告。封装报告库,HTML,Br类型。封装一些常用的接口,比如登录。测试用例-使用Excel维护。封装服务config。

2024-03-22 16:13:11 359

原创 第二十章 javascript使用

setInterval(function(){},2000) 每隔xx秒执行函数。setTimeout(function(){},2000) **秒后执行函数。变量本来在后面的,但是由于代码需要变量,将代码声明提升到代码前面。变量在JS中容易被修改,在JS中定义变量很危险,一般使用闭包。//如果a>b成立c=a,不成立c=b。// string转化成number。// number转化成string。//判断两端的值+数据类型。// == 判断两端的值。//避免case穿透。

2024-03-22 00:21:26 746

原创 记录一个scrapy的过滤器

新建一个new的文件家,创建dupefilter.py文件。

2024-03-20 15:37:43 301

原创 第十九章 linux部署scrapyd

scrapyd linux gerapy ERROR

2024-03-20 00:12:15 359

原创 第十八章 Redis的使用

链接:https://pan.baidu.com/s/1EIGLFjDRxWyy1bU9Hwr_dw?在命令行输入:redis-server 命令。

2024-02-21 14:45:52 470

原创 第十七章 爬虫scrapy登录与中间件2

数据盘区太快会报错,setting中配置延迟。

2023-12-19 23:55:14 591

原创 第十六章 爬虫scrapy登录与中间件

scrapy.Requests()中的cookies属于字典,需要转换。配置代理的网站:https://www.kuaidaili.com/scrapy.FormRequest()可以提交post请求。新建一个reauest.py文件处理selenium请求。中间件中判断请求是不是 SeleniumReques请求。param spider:发出该请求的spider。在引擎将请求的信息交给下载器之前,自动的调用该方。我们要想替换掉原来的中间件,可以设置优先级为99。param request:当前请求。

2023-12-19 00:40:04 1463

原创 第十五章 scrapy框架使用

文件会涉及到多个href的请求,可以在spider里,添加多次请求。使用图片下载的pipline时,需要单独配置用来保存图片的文件夹。判断xpath中是否包含xx文字。xptah和CSS混合提取数据。数据库定义到settings中。格式化数据,便于后期问题定位。下载图片的pipline。数据存储到mysql。

2023-12-12 23:30:59 526

原创 第十四章 scrapy框架之基础

scrapy是将爬虫的内容工程化可以通用与不同的网站Scrapy到目前为止最流行的爬虫框架scrapy的特点:速度快,简单,可扩展性强.scrapy的官方文档: https://docs.scrapy.org/en/latest/

2023-12-09 23:36:45 143

原创 第十三章 python操作MongoDb

python操作MongoDB

2023-12-03 23:42:54 36

原创 第十一章 python操作MySQL

在python添加数据的时候,默认开启事务,需要commit才能在数据库的表中新增数据。查询返回的数据在cursor里。pymysql的基本使用。

2023-12-03 00:41:16 135

原创 第十二章 MongoDb操作

MongoDB

2023-12-02 23:40:30 48

原创 第九章 数据库的安装

修改C:\WINDOWS\system32\drivers\etc\hosts 文件。双击:NavicatCracker v16.0.7.0 .exe。记住navicat的安装路劲,后续破解使用。配置MySQL的密码,or添加用户。路径处选择navicat的安装路径。点击Generate获取激活码。配置MySQL的端口号。

2023-12-02 19:05:03 316

原创 第十章 MySQL操作

MySQL。

2023-12-01 21:56:46 68 1

原创 第八章 selenium的使用

get_screenshot_as_file(XX)浏览器窗口截屏,XX代表文件保存地址及文件名、格式。只写文件名保存至当前路径,若写路径,则路径必须存在。安装驱动:https://registry.npmmirror.com/binary.html?选取框架内元素,首先我们要定位到框架元素,然后切换到框架页面,才能对框架页面内元素进行操作。88之前的版本使用此命令修改window.navigator.webdriver。网址:http://www.ttshitu.com/获取验证码,鼠标的点选位置。

2023-12-01 00:37:12 63 1

原创 第七章 视频爬取

#EXTM3U#EXT-X-VERSION:3#EXT-X-TARGETDURATION:6 每个ts文件的最大长度#EXT-X-PLAYLIST-TYPE:VOD#EXT-X-MEDIA-SEQUENCE:0#EXT-X-KEY:METHOD=AES-128,URI=“/20231106/rPXApTHz/2000kb/hls/key.key” 切片文件的加密方式以及加密的秘钥地址#EXTINF:3,/20231106/rPXApTHz/2000

2023-11-27 23:13:21 962

原创 第六章 异步协程

协程在一个CPU里切换多个任务。

2023-11-23 22:11:41 68

原创 第五章 多线程与多进程

运行中的程序.每次我们执行一个程序,咱们的操作系统对自动的为这个程序准备一些必要的资源(例如,分配内存,创建一个能够执行的线程.)程序内,可以直接被CPU调度的执行过程.是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.线程完成后,还需要执行动作。进程之间是相互独立的。CPU运行的最小单位。

2023-11-22 00:26:37 54

原创 第四章:代理

代理

2023-11-15 23:35:03 25

原创 第二章 爬虫数据解析

匹配除换行符以外的任意字符, 未来在python的re模块中是一个坑。() 匹配括号内的表达式,也表示一个组。]匹配除了字符组中字符的所有字符。尽可能少的匹配 ->回溯。\W 匹配非字母或数字或下划线。\w匹配字母或数字或下划线。alb 匹配字符a或字符b。] 匹配字符组中的字符。{n,} 重复n次或更多次。^ 匹配字符串的开始。$ 匹配字符串的结尾。{n,m} 重复n到m次。\s 匹配任意的空白符。\t 匹配一个制表符。\n 匹配一个换行符。\S 匹配非空白符。

2023-10-11 00:51:35 795 1

原创 第一章 爬虫基中基

就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协定常见的协议有TCP/IP.SOAP协议,HTTP协议,SMTP协议等等…4 响应体 -> 服务器返回的真正客户端要用的内容(HTML,json)等。1 请求行 -> 请求方式(get/post) 请求url地址 协议。2 响应头 -> 放一些客户端要使用的一些附加信息。2 请求头 ->放一些服务器要使用的附加信息。4 请求体 ->一般放一些请求参数。1 状态行 -> 协议 状态码。2.不能影响网站正常运行。1.不能爬取用户隐私。

2023-10-08 23:50:59 120 1

原创 python爬虫笔记

request请求头中,带上user-agent 参数。需要找到正则网站 -石墨文档中接口自动化笔记。客户端和服务端,都需要遵循请求和响应协议。爬虫的根本就是模拟人向浏览器发送请求。密码:Han115955。

2023-10-08 00:03:46 1425 1

原创 python之函数

nonlocal:向外一层,引入全局变量,如果没有再向外一层,直到全局变量。内存函数对外层函数局部变量的使用,此时内层函数被称为闭包。嵌套函数,局部变量都是在函数内部自己使用的。global:在局部引入全局变量。

2023-09-19 23:56:35 51

原创 python参数

2.**kwargs,表示接收所有的关键字的动态传参顺序:顺序:位置> *args >默认值>**kwargs。2.默认值参数,在函数声明的时候给变量一个默认值,如果实参不传递信息.此时默认值生效,否则就不生效。2.关键字参数.按照参数的名字进行传递参数3.混合参数.** 在实参位置,可以把字典自动转化成关键字参数进行传递。1.*args,表示接收所有的位置参数的动态传参。*在实参位置,是把列表打散成位置参数进行传递。1.位置参数,按照位置一个一个的去声明变量。1.位置参数.按照位置进行传递参数。

2023-09-19 22:14:01 23

原创 第三章 HTML基础

span> 元素也没有特定的含义。当与CSS - -同使用时, 元素可用于为部分文本设置样式属性。元素的另-个常见的用途是文档布局。它取代了使用表格定义布局的老式方法。元素是块级元素,它可用于组合其他HTML元素的容器。元素没有特定的含义。使用元素进行文档布局不是表格的正确用法。 元素可用于对大的内容块设置样式属性。大多数HTML元素被定义为块级元素或内联元素.内联元素在显示时通常不会以新行开始。元素是内联元素,可用作文本的容器。

2023-09-12 23:29:19 87

原创 python之openpyxl的使用

cell.data_type : 数据类型, ’s‘ = string字符串,‘n’ = number数值,会根据单元格值自动判断。cell.number_format :单元格格式,默认”General“常规,详见excel自定义数据类型。获取指定边界范围并以行的格式组成的可迭代对象,默认所有行。获取指定边界范围并以列的格式组成的可迭代对象,默认所有列。cell.coordinate : 坐标,例如’A1’cell.column_letter : 字母列标。cell.column : 数字列标。

2023-09-08 22:28:48 138 1

原创 字符串的格式化

【代码】字符串的格式化。

2023-09-06 21:24:26 25 1

原创 python之测试用例的断言

python 断言 assert

2023-08-24 00:49:57 59 1

原创 python中time模块的使用

python time

2023-08-24 00:18:38 36 1

原创 python base64加密

base64 python 加密 解密

2023-08-23 23:40:48 228

原创 python自动化pytest之测试行

文章目录前言1. pytest.main()的使用1. pytest.main() 源码2. pytest参数详解3. 用例运行方式2. pytest ini文件的使用1. 代码2. 执行前言1. pytest.main()的使用1. pytest.main() 源码def main( args: Optional[Union[List[str], py.path.local]] = None, plugins: Optional[Sequence[Union[str, _Plug

2023-08-21 23:13:33 62 1

原创 pyest自动化框架之测试用例

python;测试用例;夹具

2023-08-19 18:32:51 56

原创 markdown写作参照

这里的字体是,颜色是:仿宋,红色。这里的背景色是:珊瑚。

2023-08-19 15:47:27 34

原创 python自动化框架之log

python logging模块最详细讲解

2023-08-18 01:10:50 85 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除