![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 86
匿名用户9527
这个作者很懒,什么都没留下…
展开
-
某天气网站JS反爬加密破解
逆向某天气网站JS加密,涉及fiddler中间人替换技术/JS加密解密逆向技术等通过fiddler中间人操作改写目标网站部分JS,绕过网站禁止右键/禁止F12/禁止调试(无限debug)等反爬措施目标网站- https://www.aqistudy.cn/historydata/monthdata.php?city=%E5%8C%97%E4%BA%AC由于网站禁止F12和右键,无法查看页面源码,可以鼠标点击网站地址后按F12,这个时候可以打开调试面板查看网站源码但网站出现了无限debug原创 2021-04-23 11:54:20 · 398 阅读 · 0 评论 -
scrapy 的暂停和重启, 下载卡住,设置超时
scrapy的爬虫在运行时,需要暂时停止运行,并在下一次从暂停的地方继续爬取的方法:1.打开cmd进入虚拟环境,cd到scrapy的main.py目录下;2.在cmd下输入以下命令scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录比如我要运行的spider的name为zhihu,文件夹目录是scrapy目录下的job_info/001(001表示这是一次爬取...原创 2019-07-19 16:55:59 · 576 阅读 · 0 评论 -
python异常重试装饰器 retrying
&n...转载 2019-06-25 09:54:31 · 1140 阅读 · 1 评论 -
通过selenium获取cookie
from selenium import webdriverimport timeimport jsonoptions = webdriver.FirefoxOptions()dr = webdriver.Firefox(options=options)dr.get('https://cn.bing.com/search?q=objective%20lens%20of%20com...原创 2019-06-19 17:55:03 · 3228 阅读 · 0 评论 -
URL中允许出现的字符及含义
url允许的字符如下ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-_.~!*'();:@&=+$,/?#[] //保留字符1234如果要传输其他字符则必须urlencode之后再传输另外,保留字符均有特殊含义,若传输的保留字符纯粹是属于一个value值,那么也需要先进行urlencode...转载 2019-04-02 09:15:23 · 2836 阅读 · 0 评论 -
python+selenium
转载自 https://blog.csdn.net/huilan_same/article/details/52305176 更多关于python selenium的文章,请关注我的专栏:Python Selenium自动化测试详解用selenium做自动化,有时候会遇到需要模拟鼠标操作才能进行的情况,比如单击、双击、点击鼠标右键、拖拽...转载 2018-11-20 10:40:48 · 110 阅读 · 0 评论 -
python调用百度图片文字识别接口
# 登录百度api应用页面获取下面三相内容APP_ID = 'xxxxx'API_KEY = 'xxxxxxx'SECRET_KEY = 'xxxxxxx'class BaiduImg(): def __init__(self, img_path): self.img_path = img_path # 传入图片地址 """ 读取图片 """ ...原创 2018-11-20 17:08:43 · 1457 阅读 · 1 评论 -
requests爬取糗事百科页面
requests爬取糗事百科,由于糗事百科是静态页面,用简单的requests即可代码如下:import requestsimport lxml.htmlclass Qiu: def __init__(self, name_, url_base): """ 设置基础参数 :param addr: """ ...原创 2018-10-11 22:47:11 · 228 阅读 · 0 评论 -
爬虫框架scrapy
安装:windows:第1步: 根据系统版本下载对应twisted,下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted第2步: 输入以下命令,注意后面的路径是下载的twisted存放的路径名 pip install C:\Users\Administrator\Downloads\Twis...原创 2018-09-19 20:39:29 · 113 阅读 · 0 评论