-
安装 Chrome 浏览器:确保在 Linux 系统上已经安装了 Chrome 浏览器。
安装 Chrome 浏览器的依赖项:运行以下命令安装 Chrome 浏览器所需的依赖项sudo yum install -y wget unzip libX11 GConf2 fontconfig
下载和安装 Chrome 浏览器:运行以下命令下载和安装 Chrome 浏览器:
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm sudo yum install -y google-chrome-stable_current_x86_64.rpm
验证安装:运行以下命令验证 Chrome 浏览器是否成功安装:
google-chrome --version
-
安装 Chrome WebDriver:Chrome WebDriver 是与 Chrome 浏览器版本相匹配的驱动程序,用于与浏览器进行交互和自动化操作。您需要根据您所使用的 Chrome 浏览器版本下载并安装相应版本的 Chrome WebDriver。
通过刚才获取到的chrome版本到http://chromedriver.storage.googleapis.com/index.html
找到对应的版本下载liunx版,解压并将 Chrome WebDriver 可执行文件移动到/usr/local/bin/
目录中,使其可以全局访问
验证安装:运行以下命令验证 Chrome WebDriver 是否成功安装:
chromedriver --version
-
配置 Python 环境:确保已经安装了 Python 解释器和所需的依赖项。您可以使用包管理器安装 Python 和 pip(Python 包管理工具)
-
安装 Selenium 库:Selenium 是一个用于自动化浏览器操作的 Python 库。可以使用 pip 安装 Selenium
pip install selenium
-
编写 Python 代码:创建一个 Python 脚本,其中包含使用 Chrome 选项的代码。
from selenium import webdriver from selenium.webdriver.chrome.options import Options # 创建 Chrome 选项对象 options = Options() options.add_argument('--headless') # 启用无界面模式 options.add_argument('--disable-gpu') # 禁用 GPU 加速 # 创建 Chrome WebDriver 对象 driver = webdriver.Chrome(options=options) # 进行后续的浏览器操作 # ... # 关闭浏览器 driver.quit()
我运行的时候报了这个错误
ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with OpenSSL 1.0.2k-fips 26 Jan 2017. See: https://github.com/urllib3/urllib3/issues/2168
是由于
urllib3
和ssl
模块之间的版本不匹配导致的问题。urllib3
v2.0 版本要求使用 OpenSSL 1.1.1+,但我的系统中的ssl
模块是使用 OpenSSL 1.0.2k-fips 编译的
我将urllib3
的版本降级到一个与我的 OpenSSL 版本兼容的较低版本
pip install urllib3==1.26.7
在linux上使用Chrome WebDriver来爬取网页内容
最新推荐文章于 2024-07-25 09:14:50 发布