python爬虫学习日志 使用selenium爬取动态网页数据

概念

动态网页定义

什么是动态网页？
动态网页是指在用户访问时，在服务器端动态生成网页内容的网页。与静态网页不同，静态网页是指在服务器上提前生成并存储的网页，无法根据用户的需求和操作进行实时更新。动态网页可以根据用户的请求和输入生成数据，并可以包含交互式元素，如表单、按钮等。
对此，我们如果想要获取网页中会更新的内容，只依赖requests库是获取不到相应数据的，这里我们就可以使用selenium来帮助我们获取网页数据。

selenium介绍

Selenium是一种用于测试Web应用程序的自动化工具，支持多种浏览器和多种编程语言。它可以模拟用户在浏览器中的各种操作，如点击、输入、选择、拖放等，以及对页面进行断言验证。
既然selenium能够模拟用户在浏览器的各种操作，那么使用selenium就可以在模拟用户进行某次操作后，帮助我们获取当前页面的网页代码，从而让我们获取到相应数据。

准备工作

安装Google Chrome浏览器

如果电脑上已经有谷歌浏览器了，可以检查版本是否是较新版本，避免后续产生版本不兼容的问题。

下载chromedriver.exe插件

安装谷歌浏览器后，我们还需要下载chromedriver.exe驱动插件。
首先我们需要知道自己谷歌浏览器的版本：打开谷歌浏览器——点击右上角的三个点——点击设置——左边最下方关于Chrome，可以看到自己浏览器的版本信息。
chromedriver下载地址：
http://chromedriver.storage.googleapis.com/index.html

此处文件名对应浏览器的版本，请根据自己的浏览器版本进行选择。

点击进入文件夹后选择符合自己电脑系统的版本下载。windows系统都选择win32下载即可。下载之后解压，将.exe文件移动到python解释器的安装路径下（与python.exe同目录）即可。

安装selenium库

selenium库可以使用pip install selenium下载，也可以在pycharm的setting中下载。之后在import selenium时不报错说明安装成功，安装具体操作此处不再展示。
至此所有准备工作均已完成。

代码实现

这里我们以爬取b站up哔哩哔哩漫画第一页的视频标题和视频链接为例，当我们查看该页面的网页源代码时是找不到我们所需要的内容的。由此可知该页面为动态网页，此时就可以使用selenium来帮助我们获得数据。

进入开发者模式，可以看到我们所需要的数据处于标签
ul class="clearfix cube-list"内，每个视频的网址和标题又处于每一个li标签的第二个a标签里，因此如果利用xpath方法定位那么路径就可以写成
‘//ul[@class=“clearfix cube-list”]/li/a[2]’，于是接下来就可以编写我们的代码了。

// 引入模块
from selenium import webdriver
from selenium.webdriver.common.by import By

//目标网页
url = 'https://space.bilibili.com/326499679/video'

//设置浏览器启动方式为后台启动
options = webdriver.ChromeOptions()
options.add_argument('--headless')
chrome = webdriver.Chrome(options=options)

//启动浏览器并定位到目标页面
chrome.get(url)
//使用find_elements方法根据xpath获取所有符合条件的a标签，结果为列表
element_list = chrome.find_elements(By.XPATH, '//ul[@class="clearfix cube-list"]/li/a[2]')
//遍历列表，取出每个element内的标题（即文本数据）和网址信息
for element in element_list:
    print(element.text, element.get_attribute('href'))

输出结果

一起去冒险吧！ [转生成为魔剑了 篇19] https://www.bilibili.com/video/BV1684y167BB/
【死神 千年血战篇】最强卍解 https://www.bilibili.com/video/BV1D24y1C7p7/
死灵吞噬者的怪异行动 [转生成为魔剑了 篇17] https://www.bilibili.com/video/BV1C44y1X73E/
传说级宝可梦全系列经典BGM钢琴无缝串烧（第四弹）~ 热烈庆祝《宝可梦 朱紫》发行！！ https://www.bilibili.com/video/BV13G4y147pZ/
死灵魔兽巢穴的死斗 [转生成为魔剑了 篇16] https://www.bilibili.com/video/BV1gK411Z7zv/
【有声漫画】陈张太康/锦鲤 配音《那个教主 重出江湖了》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1zW4y1s7ek/
【死神 千年血战篇】灭却师死神一战真相曝光！队长卍解被夺！绝望笼罩静灵庭！ https://www.bilibili.com/video/BV1u84y117ai/
芙兰的首次空中大战 [转生成为魔剑了 篇15] https://www.bilibili.com/video/BV1ae4y1x7Hi/
国漫日漫孰优孰劣？什么才是好的漫画【对话5位一线业内老师】 https://www.bilibili.com/video/BV1R84y1v73R/
【有声漫画】糖醋排骨/阎么么/赵成晨 配音《镖人》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1wK411m7r7/
韩国条漫崛起，聊聊一部好漫画是怎样诞生的【李泫锡×丸子叨叨叨】 https://www.bilibili.com/video/BV1Jd4y1w7bi/
【半佛】五部漫画，专治不行 https://www.bilibili.com/video/BV1Gg411B7SE/
哔哩哔哩漫画+动画区联名推荐！永远有人还在热血！ https://www.bilibili.com/video/BV1he4y1178S/
天空之城的召唤 [转生成为魔剑了 篇14] https://www.bilibili.com/video/BV16v4y1D7V8/
震惊！《间谍过家家》的幕后还会有这种操作...！【集英社・林士平编辑访谈】 https://www.bilibili.com/video/BV1Wt4y1K725/
哔哩哔哩漫画+生活区联名推荐！想要买来收藏的漫画！ https://www.bilibili.com/video/BV1rv4y1U75x/
评分9.8！悬疑烧脑一次看够！B站高分智斗类漫画盘点推荐 https://www.bilibili.com/video/BV1BY411f7f1/
突击检查哔哩哔哩漫画编辑部！这些都是漫画编辑们的小·秘·密～｜「编辑推荐」漫画书单 https://www.bilibili.com/video/BV15V4y137RW/
有声漫画：段艺璇/林景 配音《反派初始化》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1Se4y127q4/
【死神 千年血战篇】第一位星十字骑士团成员登场！！！ https://www.bilibili.com/video/BV18e411G7Rf/
十月新番最唯美的歌曲！书虫公主ED《革表紙》钢琴版 by Kyle Xian https://www.bilibili.com/video/BV1qe4y177AM/
重生穿越，萌娃与公爵父亲之间的双向养成！《穿越成男主角的女儿？！》PV上线！ https://www.bilibili.com/video/BV1cP411P7pY/
蜘蛛迷宫的最终决战 [转生成为魔剑了 篇13] https://www.bilibili.com/video/BV1Ge41157Ah/
有声漫画：大昕/柯暮卿 配音《目标一亿积分！开启二次人生的终阶游戏 》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1AW4y1E7DG/
【死神 千年血战篇】10年的等待,3年的期待！还记得12岁的你追过的动画吗？ https://www.bilibili.com/video/BV1tD4y1r775/
最高等级蜘蛛魔兽现身 [转生成为魔剑了 篇12] https://www.bilibili.com/video/BV1KW4y1n7tK/
有声漫画：马洋/钱文青配音《反派初始化》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1Se4y1E7nh/
杀人网球大作战 [间谍过家家漫画解说 篇8] https://www.bilibili.com/video/BV1AB4y177fv/
贝加庞克秘密揭晓！世界政府派出最强暗杀集团刺杀贝加庞克！！！ https://www.bilibili.com/video/BV1kG4y1p7tH/
有声漫画：秦紫翼/卢力峰DK 配音《梦梁有座三日鹊》【我是特优声 剧团季】 https://www.bilibili.com/video/BV1L24y197uh/

这里只爬取了第一页的视频数据，如果还需要爬取第2，3，4页及以后的的数据，可以在上述代码之后让selenium进行点击下一页的操作，再重复爬取数据操作，此处不再展开。