网络爬虫（urlib基本使用）

urlib

说明：urlib是Python内置的HTTP请求的库
urlib分为四个模块：
request：请求模块，用于发送模拟请求。
error：异常处理模块，帮助解决错误。
parse：工具模块，提供url处理方法。
robotparser：用于识别网站的robots.txt文件，根据robots.txt来判断该网站是否可爬。
关于robots.txt文件，这个是网络爬虫的君子协议，当然很多大公司都不遵守的（手动狗头保命）。

代码总览

import urllib.request
import urllib.parse
import time
url = "www.xxx.com"
data = bytes(parse.urlencode(dict),encoding='utf-8')
headers = {  # 头部信息
    'User-Agent': "xxx"
}
method = "POST"
res = request.Request(url=url,data=data,headers=headers,method=method)
response = resquest.urlopen(res)
response=response.read().decode('utf-8')
time.sleep(1)	#设置延时1s，降低爬取频率

步骤说明：

1.首先导包，一般要用到requests和parse,parse用于请求的参数设置。

import urllib.request
import urllib.parse

2.创建变量绑定目标网站的网址

url = "www.xxx.com"

3.传递parse参数的请求方式为post请求,dict是参数的集合

data = bytes(parse.urlencode(dict),encoding='utf-8')

4.请求头设置访问的参数，xxx代表浏览器及其版本信息

headers = {  # 头部信息
    'User-Agent': "xxx"
}

5.服务器请求类型设置，一般如下两种二选一

method = "POST"
method = "GET"

6.res的参数中，url代表目标网站，data请求参数，headers是头部信息，method是请求方式。

res = request.Request(url=url,data=data,headers=headers,method=method)

7.发起请求

response = resquest.urlopen(res)

8.response发起请求时为避免爬取失败而导致整体代码失效一般加入try语句。

try:
	response = request.urlopen(res)
except:
	pass

9.使用read().decode(‘utf-8’)是将response获得的信息转码

response=response.read().decode('utf-8')