python 利器_Python的爬虫利器之urllib

urllib包

urllib是一个包含几个模块来处理请求的库：

- urllib.request发送http请求

- urllib.error处理请求过程中出现的异常

- urllib.parse解析url

- urllib.robotparser解析robots.txt文件

一般我们爬虫只需要常用的几个，下面只列出比较常用的函数

我们使用urllib模块，那就要引用模块

import urllib.request

urlreteieve：直接下载网页到本地

格式

urlreteieve(网址，本地的文件)

示例：

import urllib.request

urllib.request.urlretrieve("https://read.douban.com/provider/all","F:/test/down.html")

print("下载完成")

urlcleanup：清楚系统缓存

import urllib.request

urllib.request.urlcleanup()

urllib.request.urlretrieve("https://read.douban.com/provider/all","F:/test/down.html")

print("下载完成")

info() ：看相应情况的简介

import urllib.request

file=urllib.request.urlopen("https://read.douban.com/provider/all")

print(file.info())

getcode() 返回网页爬取状态码

geturl()  获取当前访问的网页的url