以前nodeJS教程出来的时候,慕课网站上的“学习人数”是静态数据,教程中是可以直接爬取。
然而现在却改成了动态js加载,请看大屏幕:
解决方法
自行分析网页异步加载【优点:通常能够获取到十分简洁清晰的数据】
- 步骤一:使用谷歌浏览器自带的F12网页分析工具
- 步骤二:在network中找到对应数据的异步加载
- 步骤三:访问找到的异步加载的url
- 步骤一:使用谷歌浏览器自带的F12网页分析工具
通过网络上的框架来模拟浏览器,等网页js渲染结束后再进行爬取【优点:不用自行分析网站】
- 这个可以在开源社区搜索即可