本文介绍了如何应对使用Ajax动态加载技术的网页，通过分析响应请求，模拟参数，利用requests库的post方法进行翻页爬取。重点在于理解XHR的工作原理和在开发者工具中观察网络请求，提取关键参数。
点击蓝字“python教程”关注我们哟！
之前打算爬取一个图片资源网站，但是在翻页时发现它的url并没有改变，无法简单的通过request.get()访问其他页面。据搜索资料，了解到这些网站是通过ajax动态加载技术实现。即可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
这样的设置无疑给初期爬虫新手制造了一些困难。
1、什么是ajax
几个常见的用到ajax的场景。
比如你在逛知乎，你没有刷新过网页，但是你却能看到你关注的用户或者话题有了新动态的消息提示。
还比如，我们在看视频时，可以看到下面的评论没有完全全部加载出来，而是你向下拖动一点，它给你加载一点。
从上述场景你应该也可以发现它的优点：
方便与用户的交互，不用重新加载整个网页，就可以实现刷新
最低0.47元/天 解锁文章
3312
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
