Python爬虫的核心库——requsts库，并附加百度图片爬取脚本

一、爬虫基础

1、概念

随着万维网的迅速发展，加上大数据的出现，快速提取并利用大量的有效数据信息成了焦点，网络爬虫也应运而生。网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本(这是百度百科对爬虫的解释)。

2、分类

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型

通用网络爬虫：又叫全网爬虫，爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。简而言之就是，爬取一个网站所有信息，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。

聚焦网络爬虫：又称主题网络爬虫，指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫，意思就是说爬取用户想要的数据。

增量式网络爬虫：是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面，就是在已经爬取的数据上再爬取网页更新后的数据，而保持原来的数据不变。

深层网络爬虫：是爬取那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面，比如：暗网，隐藏的登陆表单等等。

3、爬虫结构

爬虫的基本工作流程

a.选取需要爬取的URL（可以理解为网站链接）
b.将URL放入待抓取的URL队列上
c.从待抓取URL队列中读取带抓取队列的URL，解析DNS，并得到主机IP，下载对应网页存储到已下载的网页库中
d.在从下载好的网页数据中分析出其他URL，然后对比已下载的URL去重，进入下一个循环

二、初识requsts库

requsts库一般用在Python的爬虫技术中，这个库是用于构建HTTP请求与解析响应的HTTP库，是由urllib库发展而来，由于requsts库使用方便，导致urllib库一般用在学习Python爬虫基础上，而真正爬取数据所用到的库是requsts库。

requsts库是第三方开源库，需要额外安装，才能使用，源码在GitHub上。

关于库/模块的介绍可以看这篇博文：链接在此

安装requsts库

#在命令解释器上输入
pip install requsts
#注意：这是针对Windows系统的

1、请求方式

requests库有7个主要方式，返回Response对象类型

请求方式	说明
requsts.requst(method,url,**kwargs)	构造一个请求，最基本的方法，用的比较多
requsts.get(url,params=None,**kwargs)	获取网页，对应HTTP中的GET方法，用的比较多
requsts.post(url,data=None,json=None,**kwargs)	向网页提交信息，对应HTTP中的POST方法，用的比较多
requsts.head(url,**kwargs)	获取html网页的头信息，对应HTTP中的HEAD方法
requsts.put(url,data=None,**kwargs)	向html提交put方法，当数据存在时更新数据，当数据不存在是创建数据，对应HTTP中的PUT方法
requsts.options(url, **kwargs)	获取服务器对于某些接口等资源的支持情况的，对应HTTP中的OPTIONS方法
requsts.patch(url,data=None,**kwargs)	向html网页提交局部请求修改的的请求，更新数据，对应HTTP中的PATCH方法
requsts.delete(url,**kwargs)	向html提交删除请求，对应HTTP中的DELETE方法

以上方法中，GET，HEAD，OPTIONS是从服务器获取信息到本地，PUT，POST，PATCH，DELETE是从本地向服务器提交信息。

method是请求方式，对应get/put/post/options/head/patch/delete等7种方法
url是获取html的网页的url
params是url后面添加参数，字典/字节流格式，可选
json是JSON格式的数据，作为Request的内容
data是字典/字节序列/文件对象，作为Request的内容
kwargs是控制访问的参数，有些请求没有个别参数，根据不同请求方式确定，其实七种方法都是调用了requsts.requst方法，所以我们只需要了解requsts.requst的参数即可。

kwargs有以下控制访问的参数

params：字典/字节序列类型，在URL后面添加参数

import requests
params={
   'a':'one','b':'two'}
url=requests.request('put','http://httpbin.org/put',params=params)
print(url.text)#http://httpbin.org/put?a=one&b=two
#url.url表示实际请求的url

data：字符串类型，作为Request的内容

import requests
data="shuju"
url=requests.request('put','http://httpbin.org/put',data=data)
print(url.text)#在返回结果的data中有"data": "shuju"

json：JSON数据类型，作为Request的内容

import requests
json={
   'key1':'1', 'key2':'2'}
url=requests.request('put','http://httpbin.org/put',json=json)
print(url.text)#在返回结果的json中有"json":{"key1": "1","key2":"2"} 

headers：字典类型，就是HTTP请求头，为了隐藏爬虫信息，模拟浏览器的头部信息

import requests
headers = {
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36"}
url=requests.request('put', 'http://httpbin.org/put', headers=headers)
print(url.text)#在返回结果的User-Agent中有"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36"

cookies：字典/CooKiJar，Request中的cookie

import requests
cookies={
   'mycookies':'working'}
url=requests.request('get','http://httpbin.org/cookies',cookies = cookies)
print(url.text)#在返回结果的"cookies"中有"cookies": {"mycookies": "working"}

auth：元组类型，HTTP认证功能

import