反爬虫之Ajax简介

爬虫之Ajax请求

很多网站的页面都是动态的，也就是一开始请求只能得到一个模板的壳子，然后里面的数据通过ajax结合js进行渲染。这就导致如果直接请求原始网站url，是拿不到想爬取的数据的。这里面也有一些区别。

通过固定api接口拿到

这样的ajax封装就比较好破解，它的api接口url是固定的或者说有简单的规律。

比如网易云音乐，歌曲页面的链接如下：

https://music.163.com/#/song?id=536624574

而歌曲评论的api链接如下：

https://music.163.com/api/v1/resource/comments/R_SO_4_536624574?limit=20&offset=0

直接请求就能得到评论数据了。

对于这种数据的抓取，可以参考如下博客的例子：

https://cuiqingcai.com/202253.html

猫眼的各个api：

https://blog.csdn.net/Anana13/article/details/107554897

加密ajax链接生成的api接口

某些爬虫拦截做的比较严格的网站，它的api接口是通过加密算法生产的。比如下面这个例子，电影的详细信息是通过如下截图的ajax请求的到的：

具体链接是：

https://www.maoyan.com/ajax/films/1458876?timeStamp=1705803955236&index=1&signKey=f8c449e03201a06386b67c9d2b5b13c7&channelId=40011&sVersion=1&webdriver=false

这个链接中的timeStamp、index和signKey三个参数是通过加密算法生成的。

具体来说是通过下图的js代码生成的

那么如果对这些js代码进行解析，每次进行请求时，按照相同的逻辑生成这些参数就可以了。思路确实没错，但我前端的功力太差了，说实话不太看得懂。

网上有一些文章对之前的js代码做了逆向的，可以参考如下链接。不过目前猫眼的js代码已更新，目前已经不可用了。但是思路是一样的可以了解下：

js逆向例子

这些例子里都是通过pyexecjs这个库来在python里运行js代码。

结论

对于一般的ajax请求，知道具体的请求url就可以了；对于js加密的，要么刻苦钻研前端技术，要么你有一个前端很厉害的朋友py交易帮你分析下。

参考链接：

https://cuiqingcai.com/202253.html

https://juejin.cn/post/7058594691670867982

https://www.cnblogs.com/liuze-2/p/15856469.html#2-利用js逆向模拟请求得到电影评分的页面