爬虫
文章平均质量分 66
Python爬虫实战教程
亥虫
做人如果没有梦想,那跟咸鱼有什么差别
展开
-
requests 爬起HTTPS站点,报错requests.exceptions.SSLError: HTTPSConnectionPool
解决方法requests.get()方法中加入参数verify=Falserequests.packages.urllib3.disable_warnings()res = requests.get(url, headers=api_headers, verify=False).json()requests.packages.urllib3.disable_warnings()取消警告原创 2020-06-24 14:41:41 · 10506 阅读 · 0 评论 -
Python3关于selenium的强制等待、隐式等待和显式等待(附上EC的主要方法)
强制等待from selenium import webdriverimport timedriver = webdriver.Chrome()driver.get('https://www.baidu.com')print(driver.current_url)time.sleep(3)driver.quit()分析:强制等待,死板且不灵活,若等待时间过长则严重影响程序执行速度隐式等待from selenium import webdriverimport timedrive原创 2020-06-03 11:36:15 · 13723 阅读 · 0 评论 -
python3爬虫实战之selenium爬取亚马逊商品
环境python3.6PyCharm科学上网环境主要内容1. 思路先说一下爬取的思路,用selenium打开关键词的搜索页,然后分析搜索页下的商品链接,再用selenium打开商品页,最后返回商品数据即可。2. 导入模块from datetime import dateimport requestsimport timeimport refrom PIL import...原创 2020-05-13 16:17:31 · 8713 阅读 · 30 评论 -
python3爬虫实战之豆瓣电影250
关于python3爬虫的实战练习,爬取豆瓣电影250,提取有用的信息最后再进行保存文件原创 2017-10-14 12:10:44 · 1321 阅读 · 0 评论