-
-
- 1.分析网页请求
-
-
2.查看请求数据
-
3.请求数据
-
4.清洗数据
-
5.完整代码以及效果截图
-
6.分析总结
-
三、Selenium爬取动态数据
-
-
- 1.安装Selenium以及浏览器驱动
-
-
2.Selenium使用准备
-
3.Selenium模块常用方法
-
- a.定位元素
-
b.鼠标操作
-
c.键盘操作
-
4.Selenium使用
-
5.分析总结
-
四、总结
========================================================================
学过网页开发相关的都知道很多网页数据并不是一次就返回全部,需要向服务器发送异步请求获取数据。在爬取此类信息的时候可以在浏览器中分析Ajax和JS请求的数据。本文我将和大家一起学习如何使用Ajax、Selenium和Splash技术获取动态数据。
======================================================================
Ajax是一种新的网页数据交互技术,它可以在页面不刷新、不更改页面链接的情况下与服务器交换数据并更新网页部分内容。
下面我们以原神官网的角色加载为例介绍。
1.分析网页请求
2.查看请求数据
这类数据一般会以json格式返回,为了方便查好数据,给大家推荐一个JSON数据在线格式化的网站。JSON在线格式化
3.请求数据
分析完请求以及返回的数据之后就可以开始怕取数据了,请求代码展示如下,返回数据正常。