urllib使用介绍

    python在做爬虫的时候，会利用到urllib提供的功能，就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。另外随着python的版本不一致会出现些差异，如下

Py2.x：

• Urllib库
• Urllin2库

Py3.x：

• Urllib库

变化：

• 在Pytho2.x中使用import urllib2——-对应的，在Python3.x中会使用import urllib.request，urllib.error。
• 在Pytho2.x中使用import urllib——-对应的，在Python3.x中会使用import urllib.request，urllib.error，urllib.parse。
• 在Pytho2.x中使用import urlparse——-对应的，在Python3.x中会使用import urllib.parse。
• 在Pytho2.x中使用import urlopen——-对应的，在Python3.x中会使用import urllib.request.urlopen。
• 在Pytho2.x中使用import urlencode——-对应的，在Python3.x中会使用import urllib.parse.urlencode。
• 在Pytho2.x中使用import urllib.quote——-对应的，在Python3.x中会使用import urllib.request.quote。
• 在Pytho2.x中使用cookielib.CookieJar——-对应的，在Python3.x中会使用http.CookieJar。
• 在Pytho2.x中使用urllib2.Request——-对应的，在Python3.x中会使用urllib.request.Request。