![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 68
没蜡笔的小鑫++
这个作者很懒,什么都没留下…
展开
-
selenium Edge浏览器规避检测
解决Edge浏览器对selenium的检测问题实际上是根据控制台的window.navigator.webdriver这条指令来进行验证的,如果是被测试软件控制,就会返回true。正常浏览器会返回false正常情况下在浏览器控制台输入window.navigator.webdriver会返回false,而通过selenium来操作浏览器的情况下会返回true。在Edge中,可以使用from msedge.selenium_tools import EdgeOptionsfrom msedge.se原创 2021-07-19 14:26:39 · 3943 阅读 · 14 评论 -
爬虫进阶(二)
爬虫进阶(二)1.一些常见的反爬处理1.1使用代理模式处理# 代理原理通过第三方的一个机器去发送请求import requestsproxies = { "http": ""}resp = requests.get("https://www.baidu.com", proxies=proxies)resp.encoding = 'utf-8'print(resp.text)很简单1.2模拟用户登录处理Cookie我们从某小说网站上查看书架,发现他要我们登录。虽然可以直接原创 2021-07-19 11:39:42 · 192 阅读 · 0 评论 -
爬虫入门(一)
爬虫入门(一)1.使用python类库自带的apifrom urllib.request import urlopenurl = "http://www.baidu.com"response = urlopen(url)# 打开文件,使用with open()语句就不用去关闭 这个文件的通道with open('mybaidu.html', mode='w', encoding='utf-8') as f: f.write(response.read().decode("utf-8原创 2021-07-19 10:33:47 · 448 阅读 · 0 评论