手把手学爬虫第三弹——爬取动态渲染的信息

• • • 1.分析网页请求

• 2.查看请求数据

• 3.请求数据

• 4.清洗数据

• 5.完整代码以及效果截图

• 6.分析总结

• 三、Selenium爬取动态数据

• • • 1.安装Selenium以及浏览器驱动

• 2.Selenium使用准备

• 3.Selenium模块常用方法

• • a.定位元素

• b.鼠标操作

• c.键盘操作

• 4.Selenium使用

• 5.分析总结

• 四、总结

一、什么是动态渲染信息？

========================================================================

学过网页开发相关的都知道很多网页数据并不是一次就返回全部，需要向服务器发送异步请求获取数据。在爬取此类信息的时候可以在浏览器中分析Ajax和JS请求的数据。本文我将和大家一起学习如何使用Ajax、Selenium和Splash技术获取动态数据。

二、Ajax数据爬取

======================================================================

Ajax是一种新的网页数据交互技术，它可以在页面不刷新、不更改页面链接的情况下与服务器交换数据并更新网页部分内容。

下面我们以原神官网的角色加载为例介绍。

1.分析网页请求

2.查看请求数据

这类数据一般会以json格式返回，为了方便查好数据，给大家推荐一个JSON数据在线格式化的网站。JSON在线格式化

3.请求数据

分析完请求以及返回的数据之后就可以开始怕取数据了，请求代码展示如下，返回数据正常。

-- coding: utf-8 --

@Time : 2021/9/18 16:03

@Author : KK