Urllib简介
在python2中,有Urllib和Urllib2两种模块,都是用来实现网络请求的发送功能。其中Urllib2可以接收一个Request对象,用来设置URL的Headers,而Urllib则只能接受一个URL,不能伪装用户等操作。而python3中的Urllib将这两个模块的功能结合,具体功能如下:
urllib.request:用于实现基本HTTP请求的模块。
urllib.error:异常处理模块,如果在发送网络请求时出现了错误,可以捕获异常,然后惊醒下一步操作,例如输出error类型,或者跳过error继续执行程序等等操作。
urllib.parse:用于解析url的模块。
urllib.robotparser:用于解析robots.txt文件,判断网站是否可以爬取信息。
这就是urllib模块的大致内容。