Python网络爬虫-2

Urllib库实战

• urllib基础
• 超时设置
• 自动模拟HTTP请求

#  urllib基础
'''
urlretrieve(网址，本地文件存储地址): 直接下载网页到本地
urlcleanup():清除缓存或者内存
info(): 说明当前爬取页面相应信息
getcode(): 返回网页爬取的状态码
geturl(): 获取当前爬取页面的URL地址

import urllib.request
#urllib.request.urlretrieve("http://www.baidu.com", "./dld.html")
urllib.request.urlcleanup()

url = "https://read.douban.com/provider/all"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
ret = urllib.request.Request(url, headers = headers)
data = urllib.request.urlopen(ret)
#print(data.info())
print(data.getcode())
print(data.geturl())
'''

# 超时设置
'''
当访问时间超过设置值时候：
<urlopen error _ssl.c:1059: The handshake operation timed out>

import urllib.request
for i in range(0, 100):
    try:
        file = urllib.request.urlopen("https://www.baidu.com", timeout=0.05)
        print(len(file.read().decode("utf-8")))
    except Exception as err:
        print("出现异常"+str(err))
'''

# 自动模拟HTTP请求
'''
客户端如果要与服务器端进行通信，需要通过HTTP请求进行，在此主要学习post与get两种请求方式
get请求：url？key=value&key=value
注意：
1.如果访问百度搜索结果urlopen后geturl变为了百度安全验证链接，解决方法：URL中http变为https，加上header伪装成浏览器即可。
2.keyword如果是汉字需要用quote转码 UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-15: ordinal not in range(128)
3.获取多页page = (num-1)*10

# 百度信息自动搜索-get
import urllib.request, re
#keyword = "Python"
keyword = "西安交通大学"
keyword = urllib.request.quote(keyword)
#爬取单页
url = "https://www.baidu.com/s?wd="+keyword
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
ret = u