爬虫时遇到的chromedriver问题

DaYinYi

已于 2022-01-22 21:43:25 修改

阅读量1.6k

点赞数

分类专栏： Python 文章标签：爬虫

于 2022-01-22 21:22:19 首次发布

本文链接：https://blog.csdn.net/qq_36998053/article/details/122643393

版权

48 篇文章 5 订阅

订阅专栏

参考博客：小白解决：‘chromedriver‘ executable needs to be in PATH的问题

解决：'chromedriver' executable needs to be in PATH问题

1、首先需要对应直接的Chrome版本，下载对应的Chromedriver
Chrome的版本就在 “帮助->关于Chrome”查看

2、然后就是通过chromedriver与chrome版本映射，找到对应的下载：

参考博客：selenium之 chromedriver与chrome版本映射表

比如我这里就是：

windows的话，下载32位的也是没关系的。

3、下载之后就需要将Chromedriver.exe放到谷歌浏览器目录
（如 C:\Program Files(x86)\Google\Chrome\Application）
以及python根目录（C:\Python27）（这个是因人而异的）

4、最后就是将谷歌浏览器环境变量添加到PATH中（如果你的谷歌目录是这个的话，就放这个C:\Program Files(x86)\Google\Chrome\Application）

注意环境变量是用户环境变量：

5、安装python selenium库

pip install selenium

导入web库

from selenium import webdriver

创建driver对象并读取某网页

#打开一个谷歌浏览器，并且开始与浏览器会话
driver= webdriver.Chrome()
#网站
driver.get('http://www.baidu.com')

获取网页上某元素并改内容
网页上有个审查元素，可以右键看审查元素，这个大家都会。google浏览器中叫做“检查”或者“更多工具->开发者工具”

点击下图中那个按钮，就可以进入选取状态，此时我们选取左侧某个内容，右侧就会对应到他那一行代码，我们可以看到它的id，name等信息。

根据这些id、name找到它的位置。

这里可以by_id也可以by_name等等，然后send_key更改信息，代码如下：

name = driver.find_element_by_id("id_username")
name.send_keys("data_operation")

按钮类操作
获取按钮，然后点击。

login_button = driver.find_element_by_class_name("submit-row")
login_button.click()

通过这些操作，我们可以实现网页表单自动填写。

参考博客：自动安装对应Chrome版本的Webdriver

pip install webdriver-manager

安装好后，将关于驱动的代码改为:

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

它会将webdriver下载到缓存中：

进入这个临时文件夹，可以查看下载号的webdriver

参考博客：【Python爬虫】爬取企业专利信息

本来是帮同学爬数据的，动态js，以及一堆东西，不算懂（国家专利网站很慢！！而其他的要会员，有点遗憾，这也是涉及法律，爬虫太迷糊了）

关注