urllib基础
- urllib库:Python内置的Http请求库,不需要安装。
2.包含4个模块:
- request:最基本的HTTP请求模块,可以用来模拟发送请求。
- error:异常处理模块,若出现请求错误,我们可捕获异常,进行重试或其他操作保证程序不会意外终止。
- parse:一个工具模块,提供许多URL处理放法,比如拆分、解析、合并等。
- robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,那些不可以。
3.几个常用的方法:
import urllib.request
#urlretrieve(网址,本地文件存储地址) 直接下载网页到本地
urllib.request.urlretrieve("http://www.baidu.com","F://新建文件夹//did.html")
urllib.request.urlcleanup()
#看网页相应的简介信息info()
file = urllib.request.urlopen("https://read.douban.com/provider/all")
print(file.info())
#返回网页爬取的状态码getcode()
print(file.getcode())
#获取当前访问网页的url,geturl()
print(file.geturl())
超时设置
超时设置:有的网站能很快被访问,有的访问很慢,通过超时设置,合理分配时间能增加我们爬取网页信息的效率。
实战:
import urllib.request
for i in range(50):
try:
file = urllib.request.urlopen("https://blog.csdn.net/S_123789/article/details/100830233#_84",timeout=2)
print(len(file.read().decode("utf-8")))
except Exception as err:
print("出现异常")
=========================== RESTART: F:/urllib.py ===========================
108903
114184
110053
109001
108480
107203