简单 python 爬虫（一）

比如爬我在航电上做过的题目，可以用如下代码：

# ubuntu kylin 14.04
import urllib2
 import urllib
   url="http://acm.hdu.edu.cn/userstatus.php?user=461807914"
  headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
   request = urllib2.Request(url,None,headers)                                                               
  response = urllib2.urlopen(request)
   print (response.read())

刚开始写的时候没有那个header，给我弹出个403 forbidden，很是费解。原来有的网站对你发出的请求会进行判断，如果你的请求信息完全，就会接受你的请求。比如发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。现在可以在发送的信息里面加入一个假的头信息，骗过对方的服务器就可以了。