在linux上使用Chrome WebDriver来爬取网页内容

1. 安装 Chrome 浏览器：确保在 Linux 系统上已经安装了 Chrome 浏览器。
   安装 Chrome 浏览器的依赖项：运行以下命令安装 Chrome 浏览器所需的依赖项

   sudo yum install -y wget unzip libX11 GConf2 fontconfig
   

   下载和安装 Chrome 浏览器：运行以下命令下载和安装 Chrome 浏览器：

   wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
   sudo yum install -y google-chrome-stable_current_x86_64.rpm

   验证安装：运行以下命令验证 Chrome 浏览器是否成功安装：

   google-chrome --version

2. 安装 Chrome WebDriver：Chrome WebDriver 是与 Chrome 浏览器版本相匹配的驱动程序，用于与浏览器进行交互和自动化操作。您需要根据您所使用的 Chrome 浏览器版本下载并安装相应版本的 Chrome WebDriver。
   
   通过刚才获取到的chrome版本到http://chromedriver.storage.googleapis.com/index.html
   找到对应的版本下载liunx版，解压并将 Chrome WebDriver 可执行文件移动到 /usr/local/bin/ 目录中，使其可以全局访问
   验证安装：运行以下命令验证 Chrome WebDriver 是否成功安装：
    

   chromedriver --version

3. 配置 Python 环境：确保已经安装了 Python 解释器和所需的依赖项。您可以使用包管理器安装 Python 和 pip（Python 包管理工具）

4. 安装 Selenium 库：Selenium 是一个用于自动化浏览器操作的 Python 库。可以使用 pip 安装 Selenium

   pip install selenium

5. 编写 Python 代码：创建一个 Python 脚本，其中包含使用 Chrome 选项的代码。

   from selenium import webdriver
   from selenium.webdriver.chrome.options import Options
   
   # 创建 Chrome 选项对象
   options = Options()
   options.add_argument('--headless')  # 启用无界面模式
   options.add_argument('--disable-gpu')  # 禁用 GPU 加速
   
   # 创建 Chrome WebDriver 对象
   driver = webdriver.Chrome(options=options)
   
   # 进行后续的浏览器操作
   # ...
   
   # 关闭浏览器
   driver.quit()

   我运行的时候报了这个错误
    

   ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with OpenSSL 1.0.2k-fips  26 Jan 2017. See: https://github.com/urllib3/urllib3/issues/2168

   是由于 urllib3 和 ssl 模块之间的版本不匹配导致的问题。urllib3 v2.0 版本要求使用 OpenSSL 1.1.1+，但我的系统中的 ssl 模块是使用 OpenSSL 1.0.2k-fips 编译的
   我将 urllib3 的版本降级到一个与我的 OpenSSL 版本兼容的较低版本
    

   pip install urllib3==1.26.7