网络爬虫的规则

官网：http://www.python-requests.org/

Requests库入门

Requests库安装

Win平台: “以管理员身份运行”cmd，执行 pip install requests

安装测试

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)		#200
r.text

Requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

Requests库的get()方法

requests.get()

requests.get(url,params=None,**kwargs)
--url:拟获取页面的url链接
--params:url中额外的参数，字典或字节流格式，可选
--**kwargs:12个控制访问的参数

r= requests.get(url)
Request：构造一个向服务器请求资源的Request对象
Response：返回一个包含服务器资源的Response对象
--Response对象包含爬虫返回的内容
Response对象包含服务器返回的所有信息，也包含请求的Request信息

Response对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

其中关于Response的编码：
r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1
r.text根据r.encoding显示网页内容

r.apparent_encoding：根据网页内容分析出的编码方式
可以看作是r.encoding的备选

爬取网页的通用代码框架

Exception
网络连接有风险，异常处理很重要

理解Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
r.raise_for_status()	如果不是200，产生异常 requests.HTTPError

r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理

HTTP协议及Requests库方法

--HTTP，Hypertext Transfer Protocol，超文本传输协议
--HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
--HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
		http://host[:port][path]
  host: 合法的Internet主机域名或IP地址
  port: 端口号，缺省端口为80
  path: 请求资源的路径
--HTTP URL实例：
	http://www.bit.edu.cn
	http://220.181.111.188/duty
--HTTP URL的理解：
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
--通过URL和命令管理资源，操作独立无状态，网络通道及服务器成为了黑盒子

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

PUT和PATCH的区别：
假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段
需求：用户修改了UserName，其他不变
--采用PATCH，仅向URL提交UserName的局部更新请求
--采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除
PATCH的最主要好处：节省网络带宽

Requests库主要方法解析

requests.request(method, url, **kwargs)
	method : 请求方式，对应get/put/post等7种
	url : 拟获取页面的url链接
	**kwargs: 控制访问的参数，共13个
--method : 请求方式
	r = requests.request('GET', url, **kwargs)
	r = requests.request('HEAD', url, **kwargs)
	r = requests.request('POST', url, **kwargs)
	r = requests.request('PUT', url, **kwargs)
	r = requests.request('PATCH', url, **kwargs)
	r = requests.request('delete', url, **kwargs)
	r = requests.request('OPTIONS', url, **kwargs

–**kwargs: 控制访问的参数，均为可选项
params : 字典或字节序列，作为参数增加到url中

kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('POST', 'http://python123.io/ws', data=kv)
body = '主体内容'
r = requests.request('POST', 'http://python123.io/ws', data=body)

–**kwargs: 控制访问的参数，均为可选项
params : 字典或字节序列，作为参数增加到url中
data : 字典、字节序列或文件对象，作为Request的内容

kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('POST', 'http://python123.io/ws', data=kv)
body = '主体内容'
r = requests.request('POST', 'http://python123.io/ws', data=body)

–**kwargs: 控制访问的参数，均为可选项
params : 字典或字节序列，作为参数增加到url中
data : 字典、字节序列或文件对象，作为Request的内容
json : JSON格式的数据，作为Request的内容

kv = {'key1': 'value1'}
r = requests.request('POST', 'http://python123.io/ws', json=kv)

–**kwargs: 控制访问的参数，均为可选项
params : 字典或字节序列，作为参数增加到url中
data : 字典、字节序列或文件对象，作为Request的内容
json : JSON格式的数据，作为Request的内容
headers : 字典，HTTP定制头

hd = {'user‐agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers=hd)

--**kwargs: 控制访问的参数，均为可选项
params : 字典或字节序列，作为参数增加到url中
data : 字典、字节序列或文件对象，作为Request的内容
json : JSON格式的数据，作为Request的内容
headers : 字典，HTTP定制头
cookies : 字典或CookieJar，Request中的cookie
auth : 元组，支持HTTP认证功能

–**kwargs: 控制访问的参数（续）
files : 字典类型，传输文件

fs = {'file': open('data.xls', 'rb')}
r = requests.request('POST', 'http://python123.io/ws', files=fs)

–**kwargs: 控制访问的参数（续）
files : 字典类型，传输文件
timeout : 设定超时时间，秒为单位

 r = requests.request('GET', 'http://www.baidu.com', timeout=10)

–**kwargs: 控制访问的参数（续）
files : 字典类型，传输文件
timeout : 设定超时时间，秒为单位
proxies : 字典类型，设定访问代理服务器，可以增加登录认证

pxs = { 'http': 'http://user:pass@10.10.10.1:1234'
		'https': 'https://10.10.10.1:4321' }
 r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

--**kwargs: 控制访问的参数（续）
files : 字典类型，传输文件
timeout : 设定超时时间，秒为单位
proxies : 字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects : True/False，默认为True，重定向开关
stream : True/False，默认为True，获取内容立即下载开关
verify : True/False，默认为True，认证SSL证书开关
cert : 本地SSL证书路径

requests.request(method, url, **kwargs)

**kwargs: 控制访问的参数，均为可选项
params
data					timeout
json  					proxies
headers					allow_redirects
cookies					stream
auth					verify
files					cert

requests.get(url, params=None, **kwargs)

∙ url : 拟获取页面的url链接
∙ params : url中的额外参数，字典或字节流格式，可选
∙ **kwargs: 12个控制访问的参数

requests.head(url, **kwargs)

∙ url : 拟获取页面的url链接
∙ **kwargs: 12个控制访问的参数

requests.post(url, data=None, json=None, **kwargs)

∙ url : 拟更新页面的url链接
∙ data : 字典、字节序列或文件，Request的内容
∙ json : JSON格式的数据，Request的内容
∙ **kwargs: 12个控制访问的参数

requests.put(url, data=None, **kwargs)

∙ url : 拟更新页面的url链接
∙ data : 字典、字节序列或文件，Request的内容
∙ **kwargs: 12个控制访问的参数

requests.patch(url, data=None, **kwargs)

∙ url : 拟更新页面的url链接
∙ data : 字典、字节序列或文件，Request的内容
∙ **kwargs: 12个控制访问的参数

requests.delete(url, **kwargs)

∙ url : 拟获取页面的url链接
∙ **kwargs: 12个控制访问的参数

网络爬虫的“盗亦有盗”

网络爬虫的尺寸

网络爬虫引发的问题

--网络爬虫的“性能骚扰”
Web服务器默认接收人类访问
受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销

--网络爬虫的法律风险
服务器上的数据有产权归属
网络爬虫获取数据后牟利将带来法律风险

--网络爬虫的隐私泄露
网络爬虫可能具备突破简单访问控制的能力，获得被保护数据
从而泄露个人隐私

网络爬虫的限制

--来源审查：判断User‐Agent进行限制
检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问

--发布公告：Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守

Robots协议

Robots Exclusion Standard，网络爬虫排除标准
作用：
	网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：
	在网站根目录下的robots.txt文件

Robots协议的遵守方式

实际操作中，该如何遵守Robots协议？

Robots协议的使用
--网络爬虫：
  自动或人工识别robots.txt，再进行内容爬取
--约束性：
  Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险