爬虫
分享一些在爬虫方面的知识点
X_Jun005
这个作者很懒,什么都没留下…
展开
-
fiddler使用注意点(pc)
1、2、修改字体大小3、数据过滤4、查看请求2、基本的url,User-Agent、Cookie都在raw原创 2021-04-22 18:16:10 · 143 阅读 · 0 评论 -
解决登录抓包页面跳转,获取post请求信息
然后我们点击登录,原创 2021-03-04 14:28:45 · 1722 阅读 · 1 评论 -
retrying模块
pip install retrying经常和超时参数一起用from retrying import retry@retry(stop_max_attempt_number=3) # 表示如果报错的话,让下面的函数反复执行3次,如果3次中有一次没报错,就会走接着走其他程序,如果3次都报错了,整个程序就报错def fun1():print(‘this is func1’)retry ValueError(‘this is test error’)`我们可以将retrying定义成一个可调.原创 2021-03-02 21:38:40 · 186 阅读 · 0 评论 -
requests模块
文章目录使用事前发送get请求和post请求。获取响应response的方法获取网页源码正确的打开方式(通过下面三种方式一定能够获取到网页的正确解码之后的字符串)(python3)发送带header的请求使用超时参数处理cookie相关的请求使用事前pip install requests发送get请求和post请求。获取响应response = requests.get(url) # 发送get请求,请求URL地址对应的响应,结果用response接收response.getresp原创 2021-03-02 20:51:25 · 145 阅读 · 0 评论