Python基础知识——urllib模块在爬虫中的应用

以一个小例子引入urllib模块

import urllib.request
#urlretrieve('要爬取的网址','想要将网页保存在本地的地址')，该方法可将网页直接保存在本地，无需read()及写入操作
a=urllib.request.urlretrieve('http://www.hellobi.com',filename='D:/python学习/1.html')  

#urlcleanup可清除urlretrive产生的缓存
urllib.request.urlcleanup()

#info展示当前环境信息
file=urllib.request.urlopen('http://www.hellobi.com')
file.info()

#getcode获取网页状态码：200为正常状态     
file.getcode()
#geturl获取网页的名字
file.geturl()

——来自韦玮老师课堂笔记及所悟