python爬取csdn排名积分等信息

初次写爬虫，拿很简单的自己的csdn主页来练习一下：

打开自己的主页查看源码，发现此部分信息在标签<divclass="result"></div>

很简单的程序出了点错，发现是编码问题，记录一下

（1）出现urllib2.HTTPError: HTTP Error 403: Forbidden错误

由于网站禁止爬虫，可以在请求加上头信息，伪装成浏览器访问

（2）统一编码，匹配的字符和要查找的字符编码要统一，尤其是中文要转换为unicode

Python中的字符串有两种数据类型：str类型和unicode类型。str类型采用的ASCII编码，也就是说它无法表示中文。unicode类型采用unicode编码，能够表示任意的字符，包括中文、日文、韩文等。在python中字符串默认采用的ASCII编码，如果要显示声明为unicode类型的话，需要在字符串前面加上'u'或者'U'。

如果用中文去查找，字符串前面要加ur

（3）注意不管是search还是findall来进行匹配时，后面添加re.S，可以匹配换行符，要不然查询不到结果

 其他的备选

•     re.I(全拼：IGNORECASE): 忽略大小写
•     re.M(全拼：MULTILINE): 多行模式，改变'^'和'$'的行为
•     re.S(全拼：DOTALL): 点任意匹配模式，改变'.'的行为
•     re.L(全拼：LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定
•     re.U(全拼：UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
•     re.X(全拼：VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。

此外注意查看python手册，如果预编译用再进行查询，flag 在compile参数中

pattern = re.compile(xxx,re.S)

pattern.search() //此处的search没有flag

 

# <!-*- coding:utf-8 -*->
import urllib2
import urllib
import re
from time import ctime

'''需要从<div class="result"></div>中取出下列信息
										    
积分：<span>560</span>　排名：第<span>24195</span>名　访问：<span>5995</span>次
'''


headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
myCsdnUrl = u'http://my.csdn.net/kuaile123'
try :
    myRequest = urllib2.Request(url=myCsdnUrl,headers=headers)
    myResponse = urllib2.urlopen(myRequest)
    myPage = myResponse.read()
    unicodePage = myPage.decode("utf-8")
    myInfo = re.search(r'<div class="result">.*?</div>',unicodePage,re.S)
    if myInfo is not None:
        strInfo =  myInfo.group()
        rankInfo = re.search(ur'积分：<span>(\d+?)</span>　排名：第<span>(\d+?)</span>名　访问：<span>(\d+?)</span>次',strInfo)
        if rankInfo is not None:
            print u'时间： ', ctime()
            print u'积分： ' , rankInfo.group(1)
            print u'排名:  ' , rankInfo.group(2)
            print u'访问量： ' , rankInfo.group(3)

except Exception,e:
    print e
    

运行结果如下：