使用postman一键生成你的爬虫代码（postman在爬虫中的应用）1

详情请查看：https://zhuanlan.zhihu.com/p/42832499

 

使用postman ，按照下面的指导，可以查看请求中需要带上那些信息。直接生成代码，把代码复制到编译器使用就可以了。

今天介绍一个神器postman，可以一键生成我们的爬虫代码。即能提高我们的开发效率，还能有效的解决我们实际工作中爬虫难题。
先来看一段最简单的爬虫代码。

import requests
url = 'https://www.baidu.com'
print(requests.get(url).text)

这段请求百度首页的爬虫代码得到了网页代码，其中可能包含我们所需的数据。下面使用postman来生成代码。
首先，你需要下载一个postman。在mac中可直接下载postman应用，在windows中则以chrome浏览器的插件形式下载。
下载完成后，开始我们的骚操作。

先在页面中拷贝页面的cURL

注意使用chrome浏览器拷贝，其他浏览器可能不行



然后打开postman,点击左上角的 import 选择Paste Raw Text ，最后 Import。



点击右上角的 Send 键就能过得到我们想看到的页面代码源码了。

接下来是见证奇迹的时刻，点击右上角橙色的 code 键，并选择编程语言，就可以看见代码了，只需点见 copy to clipboard 就把代码复制到粘贴板上了。



这段代码貌似要比我们上面的三行简易代码麻烦不少，那你说要他何用。客官别急，好戏才刚刚开始。了解了postman的基本用法，接下来看看在实际的爬虫工作中的用途。

我们以微博为例，在爬取微博信息的时候，需要我们使用账户密码登陆，在登陆的过程中还需要九宫格的验证码解锁。有一些爬虫基础的人，这时候一般会使用携带cookies的方法绕过验证码。但是给请求信息中加入cookies又是一个繁琐的事情。

还有一种情况是，我们通过网站接口获取json数据时，仅仅只是使用requests获取，并没有如我们所想能够获取到数据。而我们也不知道，是因为少了什么请求信息导致的这种情况，不得不一个个添加信息慢慢尝试。

以上两种情况，使用postman可以大大提升开发的效率，只需文中所提的几个简单步骤，将生成的代码黏贴到编译器上，点击运行查看结果即可。这大大节省了我们在开发过程中的耗时。剩下的只需从获取的网页代码中解析出我们所需的数据即可。