原谅我粗糙的封面图吧,内容图是高清的。
最近发现的一个Postman神操作,借助Postman的导入请求功能,一分钟不到、并且一行代码都不用写就能实现带登录态的爬虫了,这篇文章算是对web的各种工具的综合运用的总结吧。
废话不多说,我就以掘金的沸点热门为例子,来抓取所有热门的帖子吧。
1. 分析请求获取api地址
如下图所示,打开chrome的F12分析到掘金沸点的数据接口。在api地址上右键 => Copy => Copy as cURL(bash),第一步结束。简单吧。
2. 上Postman神器
按下图操作,导入请求。
请求导入了之后