urllib2.urlopen 返回403

python中我经常使用urllib2.urlopen函数提取网页源码，但是有些时候这个函数返回的却是：HTTP Error 403: Forbidden，这表明源网站不允许爬虫进行爬取，举例说明：

[python] view plain copy print ?

1. #!/usr/bin/env python  
2. # -*- coding: utf-8 -*-  
3. import urllib2  
4.   
5. url = "http://www.google.com/"  
6. data = urllib2.urlopen(url).read()  
7. print data  

这是一个很简单的获取网页源码的程序，但是如果将url改为：http://www.google.com/translate_a/t?client=t&sl=zh-CN&tl=en&q=%E7%94%B7%E5%AD%A9

[python] view plain copy print ?

1. #!/usr/bin/env python  
2. # -*- coding: utf-8 -*-  
3. import urllib2  
4.   
5. url = "http://www.google.com/translate_a/t?client=t&sl=zh-CN&tl=en&q=%E7%94%B7%E5%AD%A9"  
6. data = urllib2.urlopen(url).read()  
7. print data  

则得到的结果是：HTTP Error 403: Forbidden

解决方法：伪装成浏览器进行访问

[python] view plain copy print ?

1. #!/usr/bin/env python  
2. # -*- coding: utf-8 -*-  
3. import urllib2  
4.   
5. url = "http://www.google.com/translate_a/t?client=t&sl=zh-CN&tl=en&q=%E7%94%B7%E5%AD%A9"  
6. #浏览器头  
7. headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}  
8. req = urllib2.Request(url=url,headers=headers)  
9. data = urllib2.urlopen(req).read()  
10. print data  

这样就可以得到网页源码了～

注：如果源码中中文为乱码，可以使用：

print data.decode("UTF-8")

本文为Eliot原创，转载请注明出处：http://blog.csdn.net/xyw_blog/article/details/18142487