如何用python 访问url

原文在此 转自oschina，链接无法贴上来，抱歉

用python访问URL，这实在是一个简单得不能再简单的问题了。比如需要访问http://www.oschina.net这个URL，实在是一件非常简便的操作。不过是构造一个合法的HTTP请求，再通过TCP协议发送到www.oschina.net这台主机的TCP80端口。接着会从www.oschina.net等待一个HTTP协议的报文，最后关掉TCP连接，就是这么简单得不能再简单的问题。不过python作为一门脚本语言，接口提供出来也是非常人性化的。看HTTP请求就像下面截图，python里的API只是将数据包装成下面截图的样子，然后通过网络io之后分析响应。 
 




1
import urllib2
2
strHtml = urllib2.urlopen('http://www.oschina.net').read()
看这一段代码，非常简单。直接引入urllib2这个包之后，马上就可以调用urlopen这个方法打开这个网址。urlopen返回的是一个具有file对象行为的对象，直接使用read方法就可以读出内容。


如果确保每次能成功访问URL，代码就是这样简单的。不过现实情况下也会有很多意外情况。我们在访问某个网页时候，也经常出现种种意外，最常见的意外有下面3种： 
404 NOT FOUND 
403 FORBIDDEN 
500 Internal Server Error


404，403, 500这些是HTTP协议的状态码。 HTTP 1.1协议规定了5种不同的状态码，分别是 
1xx表示临时状态。常见有100。 
2xx表示成功访问。常见有200 206。 
3xx表示跳转。常见有302 304。 
4xx表示客户端请求不正确。常见的有400 403 404 
5xx表示服务器内部出错。常见有500。


在我们写程序的时候，一定要考虑到服务器会出现下面的意外。我们可以通过下面的方法来处理：


1
import urllib2
2
try:
3
    s = urllib2.urlopen("http://www.oschina.net").read()
4
except urllib2.HTTPError,e:
5
   print e.code
如果访问url失败，代码会抛出urllib2.HTTPError这个异常。而这个异常的code属性就是HTTP的状态码。


考虑到HTTP协议可能返回错误的结果是否就已经够了呢？答案是不够的。因为这个世界上实在是有太多异常情况的发生，特别是需要访问网络资源的时候需要额外小心。比如当网络连接超时或者是失败的时候，代码会抛出urllib2.URLError这个异常。我们也要处理这个异常。


1
import urllib2
2
try:
3
    s = urllib2.urlopen("http://www.oschina.net").read()
4
except urllib2.HTTPError,e:
5
   print e.code
6
except urllib2.URLErrror,e:
7
    print str(e)
我们在访问url时候，千万要注意一件事情，就是URL中的参数是不能含有一些特殊字符的。URL中参数的字符比如'?=&'会破坏整个URL。因此我们需要将这些参数转义，用%十六进制字符表示。


例如URL 
http://www.oschina.net?a=^&b=&^^&


实际上是有两个参数 
a=^ 
b=&^^&


这两个参数都含有非法字符，如何处理呢。


1
>>> import urllib
2
>>> urllib.urlencode({'a':'^','b':'&^^&'}）
3
'a=%5E&b=%26%5E%5E%26'