python爬虫:利用Selenium库来爬取新浪财经股票信息

Selnium库（爬取那些爬取难度较高的网站）

1  安装模拟浏览器（这里以谷歌浏览器为例，对应的模拟浏览器为chromedriver）

1.1 查看谷歌浏览器的版本号（单击右上角→帮助→关于Google Chrome）

当前谷歌浏览器的版本为127.0.6533.89

1.2  下载ChromeDriver安装包

     ChromeDriver安装包官方：http://chromedriver.storage.googleapis.com/index.html

     ChromeDriver安装包镜像网站：https://npm.taobao.org/mirrors/chromedriver/ 

     上面这两个链接，我都无法打开，全网寻找一番，找到了另外两个地址:

      https://chromedriver.storage.googleapis.com/index.html （ 这里chromedriver最新版是   114.0.5735.90，版本太低，并且它只包含win32的版本，和我自己电脑上的谷歌浏览器版本不一样，在后续使用的时候会出现问题，详情见后面）

     Chrome for Testing availability

这个链接包含最新的google浏览器模拟器下载链接，满足版本不匹配和win64版本的要求

1.3  安装ChromeDriver

        1.查询python的安装路径

        【Win+R】→输入cmd→按【Enter】键→输入”where python”→按【Enter】键

        2.放置chromedriver.exe

        解压chromedriver_win32.zip文件，解压缩文件夹中找到chromediver.exe,

        将chromedriver.exe文件复制到python安装路径下的Scripts文件夹中

        3.运行chromadriver

        命令窗口输chromedriver，按【Enter】键，运行结果如下图，则成功安装

2  安装Selenium库

给JupyterNotebook安装：在Anaconda Prompt中输入pip install selenium

给Pycharm安装：终端中输入pip install selenium

3用Selenium库获取网页源代码：新浪财经股票信息

        1.访问及关闭页面

        打开：from selenium import webdriver
                   browser = webdriver.Chrome()  #声明要模拟浏览器是谷歌浏览器
                   browser.get('https://www.baidu.com')  #访问指定浏览器

       关闭：brower.quit()

      2.获取网页源代码

      data = browser.page_source #可获得模拟浏览器中经过动态渲染的网页代码

      3.最终代码如下和运行结果：

from selenium import webdriver
browser = webdriver.Chrome()  #声明要模拟浏览器是谷歌浏览器
browser.get('https://finance.sina.com.cn/realstock/company/sh000001/nc.shtml')   #访问指定浏览器
data = browser.page_source   #可获得模拟浏览器中经过动态渲染的网页代码
print(data)

遇到的问题：模拟浏览器的版本不匹配

报错代码如下：
The chromedriver version (114.0.5735.90) detected in PATH at D:\Python 3.12.2\Scripts\chromedriver.exe might not be compatible with the detected chrome version (127.0.6533.89); currently, chromedriver 127.0.6533.88 is recommended for 
chrome 127.*, so it is advised to delete the driver in PATH and retry

 报错截图如下：

我又重新下载了，版本正确的模拟浏览器，问题才得以解决。