Python爬虫（1）--requests入门

一、requests库安装

requests库是python爬虫的开发基础库，它提供了基于URL链接的请求命令，返回网页页面信息。

requests库可以采用通用安装模式，启动命令行界面，以管理员权限进入，运行pip install requests 。如下图：

在连接互联网的情况下，python的pip工具会自动搜寻、下载、安装requests库。

或者选择在线下载requests库的安装文件，运行pip install 安装文件（在同一目录下），requests库的安装文件可以在以下链接下载

官方下载地址

安装测试

import requests
r=requests.get("http://www.baidu.com")
r.encoding=r.apparent_encoding
r.text

在python自带的IDLE中运行以上代码，会返回百度首页的HTML源文件,证明安装request库成功。

二、requests库入门方法

requests库主要方法

方法	说明
requests.request()	构造请求，requests库的基本构造方法
requests.get()	获取HTML网页的主要方法，类似于HTTP协议的GET
requests.head()	获取HTML网页的头部信息，类似于HTTP协议的HEAD
requests.post()	向HTML页面提交post请求，类似于HTTP协议的POST
requests.put()	向HTML页面提交put请求，类似于HTTP协议的PUT
requests.patch()	向HTML页面提交局部修改的请求，类似于HTTP协议的PATCH
requests.delete()	向HTML页面提交删除的请求，类似于HTTP协议的delete

由于目前很多网站不允许用户修改内容，因此主要使用的还是，requests.get()以及requests.head()方法。requests库的方法十分类似于HTTP协议，下面简单介绍下HTTP协议。

HTTP，Hypertext Transfer Protocol,超文本传输协议

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。HTTP协议采用URL作为定位网络资源的标识，URL的格式如下:

              http://host[:port][path]

host :合法的Internet主机域名或IP地址

port ：端口号，缺省值为80

path ：请求资源的路径

URL是指通过HTTP协议存储资源的Internet路径，一个资源对应于一个路径。

                                                                    HTTP操作请求

GET	请求获取URL位置资源
HEAD	请求获取URL位置资源的响应消息报告，即获得资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL处的资源
PATCH	请求局部更新URL位置处的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置处存储的资源

下面介绍requests库的基本方法的操作与参数

        requests.request(method,    url,    **kwargs)

method:    请求方式

url:   拟获取页面的URL链接

**kwargs: 控制访问参数，共十三个

   params:  字典或字节序列，可作为参数添加到URL中。      

import requests
kv={'wd':'哈哈','rev_spt':'1'}
r=requests.request('get','http://www.baidu.com/s?,params=kv}
print(r.url)

          运行以上的代码得到的结果为‘http://www.baidu.com/s?wd=%E5%93%88%E5%93%88&rsv_spt=1‘。。params参数对于查询和拼接URL十分有用。。

   data： 字典、字节序列或文件对象，作为request的内容。

import requests
kv={'key1':'value','key2','value2'}
r=requests.request('post',http://python123.io/ws',data=key}
body = '主体内容'
r=requests.request('post',http://python123.io/ws',data=body}

            当向网站页面进行小部分修改时候，可以使用data控制参数,将修改的内容保存于字典或字节序列中，使用post请求方式修改。。

   json: json格式的数据，作为request的内容。

import requests
kv={'key':'value'}
r=requests.request('post','http://python123.io/ws',json=kv)

   headers： 字典，HTTP定制头。

import requests
header={'user-agent':'Chrome/10'}
r=requests.request('post','http://python123.io/ws',headers=header

    某些网页对于爬虫的识别是鉴于发起请求的头字段，用户可以将头字段的用户浏览器修改为Chroms/10或其他绕过识别（python的头字段为{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}）

   cookies： 字典或cookiejar，request中的cookie。

   auth： 元组，支持HTTP的认证功能。

   file： 字典类型，传输文件

import requests

fs={'file':open('data.xls','rb')}r=requests.request（'post','http://python123.io/ws',file=fs）

  timeout: 设定超时时间，以秒为单位

import requests
r=requests.request（'get','http://python123.io/ws',timeout=10）

  proxies: 字典类型，设置访问代理服务器，可以增加登录认证

import requests
pxs={'http':'http://user:pass@10.10.10.1:1234','https':'https://10.10.10.1.4321'}
r=requests.request（'get','http://www.baidu.com',proxies=pxs）

   allow_redirects: True/False,默认为True,重定向开关

   stream： True/False，默认为True，获取内容立即下载开关

   verify: True/False，默认为True,认证ssl证书开关

   cert： 本地ssl证书路径。

       requests.get(url,    params=None,    **kwargs)

url:   拟获取页面的URL链接

params: url中的额外参数，字典或字节流，可选,默认为空

**kwargs: 控制访问参数，共十二个

    requests.head（url,    **kwargs）

url:   拟获取页面的URL链接

**kwargs: 控制访问参数，共十二个

    requests.post(url,     data=None,     json=None,     **kwargs)

url:   拟更新页面的URL链接

data：  字典、字节序列或文件对象，作为request的内容。默认为空

json：   json格式的数据，作为request的内容。默认为空

**kwargs: 控制访问参数，共十二个

    requests.put（url,    data=None,    **kwargs）

url:   拟更新页面的URL链接

data：  字典、字节序列或文件对象，作为request的内容。默认为空

**kwargs: 控制访问参数，共十二个

       requests.patch(url,    data=None,    **kwargs)

url:   拟更新页面的URL链接

data：  字典、字节序列或文件对象，作为request的内容。默认为空

**kwargs: 控制访问参数，共十二个

    requests.delete(url,    **kwargs)

url:   拟删除页面的URL链接

**kwargs: 控制访问参数，共十二个

三、response对象、属性、编码

response 对象 是指由 requests.get()方法返回的对象。其包含服务器的资源。

requests.get()方法的源码如下。。

可以明显的看出，response对象为requests对象中方法的返回。

response对象的属性如下表格

属性	说明
r.status_code	http请求返回的状态，200表示成功，404表示失败
r.text	http响应内容的字符串形式，即url对应的页面内容
r.encoding	从HTTP header中猜测响应内容的编码方式
r.apparent_encoding	内容的备用编码方式
r.content	HTTP响应内容的二进制形式

其中 r.headers 会包含部分请求信息。我们可以用返回的response对象的头信息来检测请求是否合适。。

response 对象的编码如下

    r.encoding 如果header中不存在charset,则认为编码为ISO-8859-1，r.text根据r.encoding的编码方式显示页面内容

    r.apparent_encoding 编码备选方式。。一般可认为为UTF-8编码

四、通用代码框架与异常

requests库的常见异常如下表格

异常	说明
requests.ConnectionError	连接异常，可能是DNS查询失败，或拒绝连接
requests.HTTPError	HTTP错误
requests.URLRequired	URL缺失
requests.TooManyRedirects	超过最大重定向次数，重定向异常
requests.CoonectTimeout	连接远程服务器超时异常
requests.Timeout	URL超时，超时异常

response的异常如下图

通用代码框架如下

import requests

def getHtmlText(url):
	try:
		r=requests.get(url, timeout=30)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return print("产生异常")
if _mame_ == "_main_":
	url = "www.baidu.com"
	print (getHtmlText(url))