爬虫中少不了selenium这个第三方工具,它是web自动化测试工具,调用后会直接运行浏览器,就像真的用户在操作一样。如果遇到反爬严重的网站,使用selenium可以增加爬取的成功率。
安装方法:pip安装(pip install selenium)
问题原因:没有找到合适的驱动器 或 路径设置错误
解决方法:
1、打开谷歌浏览器, 在地址栏输入 chrome://version/ 查看版本信息
2、选择下载对应版本的驱动, 如果没有相同型号的,可以选择临近版本。
下载地址:
http://chromedriver.storage.googleapis.com/index.html
3、把解压得到的chromedriver.exe放到python的安装路径(或者你程序文件所在目录),直接调用。
例如:C:\Users\admin\AppData\Local\Programs\Python\Python38
from selenium import webdriver
driver = webdriver.Chrome()
方法二:存放在谷歌浏览器的安装目录(或其他位置),调用时需要指定该目录。
from selenium import webdriver
#设置路径
chrome_path = r"C:\Users\sheng\AppData\Local\Google\Chrome\Application\chromedriver.exe"
driver = webdriver.Chrome(executable_path=chrome_path)
希望可以帮助到大家!