python网络爬虫与信息提取——Request库入门

MOOC-Python网络爬虫与信息提取-知识总结
课程链接

requests库

通过r=requests.get（url）来构造一个向服务器请求资源的request对象，返回一个包含服务器资源的response对象
r是response对象
requests.get(url,params=None,**kwargs)
url：获取页面的链接
params：url中的额外参数，字典或者字节流格式
**kwargs：12个控制访问的参数

import requests
r=requests.get（“http://www.baidu.com”）
print(r.status_code)

                       200
               ***显示200表示访问成功

type®

				<<class 'requests.models.Respose'>

r.headers

{‘Cache-Control’: ‘private, no-cache, no-store, proxy-revalidate, no-transform’, ‘Connection’: ‘keep-alive’, ‘Content-Encoding’: ‘gzip’, ‘Content-Type’: ‘text/html’, ‘Date’: ‘Fri, 08 May 2020 05:42:22 GMT’, ‘Last-Modified’: ‘Mon, 23 Jan 2017 13:27:36 GMT’, ‘Pragma’: ‘no-cache’, ‘Server’: ‘bfe/1.0.8.18’, ‘Set-Cookie’: ‘BDORZ=27315; max-age=86400; domain=.baidu.com; path=/’, ‘Transfer-Encoding’: ‘chunked’}

状态	说明
r.status_code	http请求返回状态，200表示连接成功，404表示失败
r.text	http响应内容的字符串形式，即url对应的页面内容
r.encoding	从http header中猜测的响应内容编码方式，如果header中不存在charset，则认为编码为ISO-8859-1
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式），根据网页内容分析出的编码方式
r.content	HTTP响应内容的二进制形式

当返回的信息不能正确解码时，需要用apparent_encoding

import requsts
r=requests.get（“http://www.baidu.com”）
r.status_code

200

r.encoding
r.apparent_encoding
r.encoding=‘utf-8’
r.text

requests库 异常处理

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接
requests.HTTPError	HTTP错误异常
requests.URLRwquired	URL缺失异常
request.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
r.raise_for_status()	如果不是200，产生异常requests.HTTPError

connect仅指与远程服务器，timeout指从发出请求开始到获得内容

通用代码框架使爬取更有效

>try:
>	r=requests.get(url,timeout=30)
>		r.raise_for_status()
>		r.encoding=r.apparent_encoding
>		return r.text
>except:
>		return "产生异常"

HTTP协议，超文本传输协议，基于“请求与响应”模式的、无状态的应用层协议。采用URL作为定位网络资源的标识。
URL格式 http://host[:port][path]
host：合法的Internet主机域名或IP 地址
port：端口号，默认为80
path：请求资源的内部路径
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资

HTTP是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求。（我们称这个客户端）叫用户代理（user agent）。应答的服务器上存储着（一些）资源，比如HTML文件和图像。（我们称）这个应答服务器为源服务器。在用户代理和源服务器中间可能存在多个中间层，比如代理，网关，或者隧道（tunnels）。尽管TCP/IP协议是互联网上最流行的应用，HTTP协议并没有规定必须使用它和（基于）它支持的层。 事实上，HTTP可以在任何其他互联网协议上，或者在其他网络上实现。HTTP只假定（其下层协议提供）可靠的传输，任何能够提供这种保证的协议都可以被其使用。

HTML（HyperText Mark-up Language）即超文本标记语言或超文本链接标示语言，是目前网络上应用最为广泛的语言，也是构成网页文档的主要语言。设计HTML语言的目的是为了能把存放在一台电脑中的文本或图形与另一台电脑中的文本或图形方便地联系在一起，形成有机的整体，人们不用考虑具体信息是在当前电脑上还是在网络的其它电脑上。我们只需使用鼠标在某一文档中点取一个图标，Internet就会马上转到与此图标相关的内容上去，而这些信息可能存放在网络的另一台电脑中。 HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字、图形、动画、声音、表格、链接等。HTML的结构包括头部（Head）、主体（Body）两大部分，其中头部描述浏览器所需的信息，而主体则包含所要说明的具体内容。

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应信息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原本URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

requests库的7个主要方法

方法	说明
requests.request()	构造一个请求，支持以下各方法的基础方法
request.get（）	获取HTML网页的主要方法，对应于HTTP的get
requests.head（）	获取HTML网页头信息的方法，对应于HTTP的head
requests.post（）	向HTML网页提交post请求方法，对应于HTTP的post
requests.put（）	向HTML网页提交put请求
requests.patch（）	向HTML网页提交局部修改请求
requests.delete（）	向html网页提交删除请求

post put 会根据用户提交信息做相关整理

requests.request（method，url，**kwargs）
method：请求方式，对应（‘GET’,‘HEAD’,‘POST’,‘PUT’,‘PATCH’,‘delete’，‘OPTIONS’）
options：获取和服务器打交道用到的参数，平时使用较少

**kwargs	12个控制访问的参数，均为可选项
params	字典或者字节序列，作为参数增加到url中
data	字典、字节序列或文件对象，作为request的内容
json	JSON格式的数据，作为request的内容，向服务器提交
headers	字典，HTTP定制头，可以模拟任何想模拟的浏览器向服务器发起访问
cookies	字典或者CookieJar，Request中的cookie
auth	元组，支持HTTP认证功能
files	字典类型，传输文件
timeout	设定超时时间，秒为单位
proxies	字典类型，设定访问代理服务器，增加登录认证，隐藏用户爬取服务器的访问地址
allow_redirects	True/False,默认为True，重定向开关
stream	True/False，默认为True，获取内容立即下载开关
verify	True/False，默认为True，认证SSL证书开关
cert	本地SSL证书路径

网络爬虫的尺寸

规模	库	用途
小规模，数据量小爬取速度不敏感	Requests库	爬取网页
中规模，数据规模较大爬取速度敏感	Scrapy库	爬取网站
大规模，搜索引擎爬取速度关键	需要定制开发	爬取全

网络爬虫的限制

来源审查：判断User—Agent进行限制
检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。
发布公告：Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守。

Robots协议基本语法

协议存储robots.txt
User—agent：*
Disallow：/
即对所有用户而言，/目录下的不允许爬取