python爬虫终极解决方案

1.安装selenium
pip install selenium -i https://pypi.mirrors.ustc.edu.cn/simple

2.下载chromedriver
安装谷歌浏览器
下载对应的chromedrive
chromedrive下载地址:
http://npm.taobao.org/mirrors/chromedriver/

from selenium import webdriver
# chromedriver路径
path = 'D:\\chromedriver.exe'
# 创建浏览器对象
browser = webdriver.Chrome(path)
# 打开百度并操作
url = 'www.baidu.com'
browser.get(url)
#获取网页源代码
html=browser.page_source
browser.quit()
print(html)