Selenium：浏览器爬虫使用详解（一）

快乐小土狗

已于 2023-10-18 09:10:47 修改

阅读量2k

点赞数 1

分类专栏：爬虫 python Selenium：浏览器爬虫使用详解文章标签： selenium python 爬虫

于 2022-07-09 20:38:20 首次发布

本文链接：https://blog.csdn.net/m0_72501048/article/details/125694730

版权

爬虫同时被 3 个专栏收录

3 篇文章 2 订阅

订阅专栏

python

2 篇文章 0 订阅

订阅专栏

Selenium：浏览器爬虫使用详解

2 篇文章 0 订阅

订阅专栏

本文介绍了Selenium的用途，它用于模拟浏览器操作，不同于常规爬虫的请求方式。文章详细讲解了Selenium的安装过程，包括使用国内源加速、解决依赖冲突，并提到了安装浏览器驱动的步骤，如针对不同浏览器版本下载对应驱动。此外，还指导了如何设置环境变量及测试安装是否成功。最后，给出了一个简单的Selenium Python代码示例，展示如何启动浏览器、访问网页、获取页面标题并关闭浏览器。

摘要由CSDN通过智能技术生成

简介：

直接网上搜Selenium的就能知道了。简而言之Selenium通过模拟人对浏览器操作实现浏览器的自动操作。它与其他爬虫的不同点是，其他爬虫是模拟浏览器发出请求，而Selenium是模拟人对浏览器进行操作。

实现Selenium需要的东西

1、安装Selenium

直接使用pip命令安装，建议加上国内源快一些。

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

安装的时候可能会遇到很多很操蛋的问题（到时候百度解决吧）

比如：

selenium 4.3.0 requires urllib3[secure,socks]~=1.26, but you have urllib3 1.24.3 which is incompatible

requests 2.21.0 requires urllib3<1.25,>=1.21.1, but you have urllib3 1.26.10 which is incompatible

然后我安装的版本

requests==2.28.1

urllib3==1.26.10

selenium==4.3.0

2、安装浏览器驱动

查看你的浏览器版本，在网上查找你浏览器版本的驱动然后下载。

以谷歌浏览器为例：

网上找到对应浏览器驱动的下载地址：

谷歌： http://chromedriver.storage.googleapis.com/index.html

注意：没有找到一模一样的可以选择接近的版本，没有64位的可以选择32位的，64位兼容32位。

将驱动解压到一个文件夹里，然后将存放路径添加到系统环境变量的Path变量中。

将谷歌浏览器的运行启动软件路径也添加到系统环境变量的Path变量中。

建议修改完环境变量后重启电脑，不然有可能设置了没生效。

安装测试

from selenium import webdriver
import time

# 创建浏览器驱动对象,Chrome()代表是谷歌浏览器的驱动
driver = webdriver.Chrome()
# 访问网址
driver.get('https://blog.csdn.net/m0_72501048?type=blog')
#程序暂停10秒
time.sleep(10)
#输出页面title
print(driver.title)
# 关闭当前网页
driver.close()
# 关闭浏览器驱动对象
driver.quit()