抓取 翻页_技术 | 斗鱼直播信息抓取

黑马程序员

微信号：heiniu526

传智播客旗下互联网资讯，学习资源免费分享平台

很多小伙伴喜欢看各种直播，比如想要获取斗鱼直播信息可以使用selenium控制浏览器，接下来我们就来使用selenium获取斗鱼直播的房间信息。

要实现抓取斗鱼直播信息，总共需要以下三步：

1.准备工作：

1)安装selenium模块。

2)下载版本相符的chromedriver。

2.利用谷歌浏览器抓包、分析，确定视频的url地址。

3.完成代码。

0 1 准备工作

· 安装selenium模块

在命令行终端下执行 pip install selenium。

· 下载chromedriver

查看本地谷歌浏览器的版本号。

访问url地址https://npm.taobao.org/mirrors/chromedriver(复制该链接到网页)，下载和谷歌浏览器以及操作系统相符合的版本。

· 解压保存到本地

如果是windows操作系统，解压后的文件为chromedriver.exe。

· 注意

1.操作系统、谷歌浏览器以及下载的chromedriver，三者版本要相符。

2.需要安装名为selenium的python包。

0 2 利用谷歌浏览器抓包

· 确定起始的url

<