python爬虫知识梳理——requests库的使用

requests库是如此的简洁好用，以至于爬虫神器。

我也用过urllib2，保持了python的文件操作的接口，使用操作过文件、数据库之类的，使用urllib2会感到很熟悉，但是不可否就是繁琐。

我也用过scrapy，高度抽象了爬虫的编写流程，以框架的形式提供，讲道理，在我用习惯了requests之后，每次想要尝试scrapy都半途而废。

 

requests的使用手册有官方文档，支持中文，链接直达

 

在这里只说一下常用的两个请求函数，get、post

resp  = requests.get("https://www.baidu.com")
resp  = requests.post("https://www.baidu.com", data={"hello": "world"})

是不是惊呆了！

其实get和post函数的参数有很多，可以定制请求头、可以携带cookie，可以指定代理，等等等，在应付反爬虫的时候可以说是又灵活有强大

 

新开公众号“码家村”，欢迎关注