抓取静态网页数据

一、urllib库

1.学习目标

1.urllib库是什么？

2.如何使用urllib库快速爬取网页

3.用urllib库进行数据传输

4.代理服务器

5.异常处理方法

1.什么是urllib库

urllib库是Python编写爬虫程序操作URL的常用内置库。urllib库包含四大模块：

urllib.request：请求模块

urllib.error：异常处理模块

urllib.parse：URL解析模块

urllib.robotpaser：robots.txt解析模块

2.如何使用urllib库快速爬取网页

下面使用utllib快速爬取一个网页，具体代码如下：

import urllib.request
response=urllib.request.urlopen('http://www.baidu.com')
html=response.read().decode('UTF-8')
print(html)

爬取网页结果如下：

分析urlopen方法：urlopen方法可以接受多个参数。参数如下：

url--表示目标资源在网站中的位置。

data--用来指明向服务器发送请求的额外时间。

timeout--该参数用于设置超时时间，单位是秒。

context--熟悉爱你SSL加密传输。

使用HTTPResponse对象：使用urlopen方法发送HTTP请求后，服务器返回后的响应内容封装在一个HTTPResponse类型的对象中。

HTTPResponse类属于http.client模块，该类提供了获取URL、状态码、相应内容等一系列方法。

构造Request对象：如果希望对请求执行复杂操作，则需要创建一个Request对象来作为urlopen方法的参数。

3.使用urllib实现数据传输

3.1URL编码转换

当传递的URL包含中文或者其他特殊字符时，需要使用urllib.parse库中的urlencode()方法将IRL进行编码。示例代码如下：

import urllib.parse
result=urllib.parse.unquote('a=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2')
print(result)

结果如图所示：

3.2处理GET请求

GET请求一般用于向服务器获取数据，例如用百度搜索传智播客。

4.代理服务器

opener 是urllib.request.OpenerDirector类的对象，我们之前一直都在使用的urlopen ，就是模块帮我们构建好的一个opener。

步骤：1.使用相关的 Handler处理器创建特定功能的处理器对象。

           2.通过urllib.request.buildopener0方法使用这些处理器对象创 建自定义的opener 对象。

           3.使用自定义的opener对象，调用 open 方法发送请求。

可以使用urllib.request 中的ProxyHandler 方法来设置代理服务器，如下所示：

httpproxy_handler =urllib.request.ProxyHandler
(["http":"124.88.67.81:80"3)opener =urllib.request.build opener(httpproxy handler)

5.异常处理方法

URLError异常和捕获，可以使用try...except语句捕获相应的异常。例如：

import urllib.request
import urllib.error
request=urllib.request.Request("https://www.baidu.com")
try:
    urllib.request.urlopen(request,timeout=5)
except urllib.error.URLError as err:
    print(err)

运行程序后，输出结果为：

<urlopen error [Errno 11001] getaddrinfo failed>

HttpError异常和捕获

每个服务器HTTP响应都有一个数字响应码，有些表示无法处理请求内容。HTTPError是URLError的子类，它的对象拥有一个整型的code属性，表示服务器返回的错误代码。如下：

import urllib.request
import urllib.error
request=urllib.request.Request('http://www.itcast.cn/net')
try:
    urllib.request.urlopen(request)
except urllib.error.HTTPError as e:
    print(e.code)

运行结果：404

二、requests库

1.抓取静态网页的技术：

静态网页是HTML格式的网页，这种网页在浏览器中呈现的内容都会体现在源代码中，此时我们若要抓取静态网页的数据，只需要获得源代码即可。
过程：获得网页源代码的过程，模仿用户通过浏览器访问网页的过程，包括向 Web 服务器发送HTTP请求、服务器对HTTP 请求做出响应并返回网页源代码。

2.发送GET请求

在Requests库中，GET请求通过调用get0函数发送，该函数会根据传入的URL构建一个请求(每个请求都是 Request类的对象)，将该请求发送给服务器。get0函数的声明如下：

get(url, params=None, headers=None, cookies=None
verify=True, proxies=None, timeout=None, **kwargs)

url:必选参数，表示请求的 URL
params:可选参数，表示请求的查询字符串
headers:可选参数，表示请求的请求头，该参数只支持字典类型的值

cookies: 可选参数，表示请求的 Cookie 信息，该参数支持字典或 CookieJar 类对象

verify:可选参数，表示是否启用 SSL证书，默认值为 True

proxies:可选参数，用于设置代理服务器，该参数只支持字典类型的值

timeout:可选参数，表示请求网页时设定的超时时长，以秒为单位

若GET 请求的URL中不携带参数，我们在调用get0函数发送GET 请求时只需要给ur 参数传入指定的URL即可。

import requests
base url = 'https://www.baidu.com/'
response = requests.get(url=base url)
print(response.status code)

 若GET请求的URL中携带参数，在调用 get0函数发送GET 请求时只需要给ur 参数传入指定的URL即可。

import requests
方式
base url = 'https://www.baidu.com/s'
param = 'wd=python'
full url = base url +'?' + param 
response = requests.get(full url)
print(response.status code)

3.发送POST请求

在Requests中，POST 请求可以通过调用 post0 函数发送，post0 函数会根据传入的 URL构建一个请求，将该请求发送给服务器，并接收服务器成功响应后返回的响应信息。 

post(url, data=None, headers=None, cookies=None, verify=True,proxies=None, timeout=None, json=None, **kwargs)

data:可选参数，表示请求数据。

json:可选参数，表示请求数据中的JSON数据。

4.处理响应

属性                                                                        说明
status_code                                                    获取服务器返回的状态码
text                                                                  获取字符串形式的响应内容
content                                                            获取二进制形式的响应内容
url                                                                    获取响应的最终URL
request                                                            获取请求方式  
headers                                                           获取响应头 
encoding                                                         设置或获取响应内容的编码格式，与 text属性                                                                          搭配使用
cookies                                                           获取服务器返回的 Cookie

 通过访问 Response类对象的 text 属性可以获取字符串形式的网页源代码。

import requests
base url = 'https://www.baidu.com/'
response = requests.get(url=base url)
print(response.text)

5.验证 Cookie

Cookie  是指某些网站为了辨别用户身份、进行会话跟踪，而暂时存储在客户端的一段文本数据(通常经过加密).
在Requests库中，发送请求时可以通过两种方式携带Cookie，一种方式直接将包含 Cookie 信息的请求头传入请求函数的 headers 参数;另一种方式是将 Cookie 信息传入请求函数的 cookies 参数。不过，cookies 参数需要接收一个 RequestsCookieJar 类的对象，该对象类似一个字典，它会以名称(Name) 与值 (Value)的形式存储cookie。

import requests
headers = !
'Cookie':'此处填写登录百度网站后查看的 Cookie 信息,'
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10 11 4)AppleWebKit/537.36(KHTML, like Gecko)'
Chrome/53.0.2785.116 Safari/537.36}# 设置字段 User-Agentresponse = requests.get('https://www.baidu.com/', headers=headers)print(response.text)

6.代理服务器简介

设置代理服务器是网络爬虫应对防爬虫的策略之一，这种策略会为网络爬虫指定一个代理服务器，借用代理服务器IP地址访问网站，掩盖网络爬虫所在主机的真实IP地址，从而达到伪装IP 地址的目的。

设置代理服务器一般分为两步，分别是获取代理IP 和设置代理IP。

7.处理异常

requests.exceptions 模块中定义了很多异常类型，常见的异常类型如下：

RequestException                                         请求异常                      
ConnectionError                                            连接错误
HTTPError                                                     发生HTTP错误
URLRequired                                                 发出请求需要有效的URL
TooManyRedirects                                         请求超过配置的最大重定向数
ConnectTimeout                                            尝试连接到远程服务器时请求超时
ReadTimeout                                                 服务器在规定的时间内没有发送任何数据
Timeout                                                         请求超时