爬虫编写与postman结合

爬虫编写的一般逻辑是：

当我们想对一个网站进行爬取时，在浏览器中分析该网址，和一些网站传递的参数。然后打开ide，开始进行编写，复制浏览器中的各种data和headers。然而当网站需要post过去数据，content-type 分类又会踩许多坑，怎么高速的提高效率呢。这里我介绍下postman的使用

直接进入正题，这里使用今日头条为例：

第一步，找到需要爬取的url

 

第二步，复制该url的curl到postman

 

第三步，在postman中导入该curl

第四步，我们只需要点击send，就可以得到内容，在这里还可以调试各种参数，去掉不需要的参数，进行获取，比在ide中方便许多

 

最后，我们只需要保存为代码就OK

OK 大功告成，相信大家看出来了postman对编写爬虫的方便