python3爬虫系列03之requests库:根据关键词自动爬取下载百度图片
1.前言
在上一篇文章urllib使用:根据关键词自动爬取下载百度图片 当中,我们已经分析过了百度图片的搜索URL的变化,发现关键词就在搜索结果页的网址中。
我们只需要把网址中的关键词换掉,就是得到新的关键词的结果页网址。
上一篇文章我们采用了python的基础模块【urllib库】来做爬虫,正所谓长江后浪推前浪,Reuqests库把urllib库拍在沙滩上了,现在都不推荐使用它了,比它更好的网页下载器是requests库 。
requests基于urllib上进行了很多功能的封装,号称最好用的HTTP请求库。
所以今天开始requests库的学习,开始新的爬虫。
2.requests库介绍
一、安装requests库
因为它不是 python 的内置库,所以使用前需要安装一下。
直接使用 pip 安装:
pip install requests
二、请求方式
requests支持所有的HTTP请求,以最常用的get方法为例。
一行代码 Get 请求: