首先感谢Python:软科中国大学排名爬虫(2021.11.5) - 乌漆WhiteMoon - 博客园这篇文章,
针对同一个网页,不同的页码,如软科中国大学排名2021,发现随着页码翻动,url未变
通过 F12,进入到网络,Ctrl+F进行搜索一个大学,会发现一个payload.js的文件
打开这个文件,发现数据都存在这个JavaScript 文件中
就可以对这个链接进行爬取
首先感谢Python:软科中国大学排名爬虫(2021.11.5) - 乌漆WhiteMoon - 博客园这篇文章,
针对同一个网页,不同的页码,如软科中国大学排名2021,发现随着页码翻动,url未变
通过 F12,进入到网络,Ctrl+F进行搜索一个大学,会发现一个payload.js的文件
打开这个文件,发现数据都存在这个JavaScript 文件中
就可以对这个链接进行爬取