（二）爬取百度帖子

注意：网站会更新，正则表达式不一定都能匹配，F12自己去网站看看修改一下

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re

#百度贴吧
class BDTB:

    #初始化，传入基地址，是否只看楼主的参数
    def __init__(self,baseUrl,seeLZ):
        self.baseURL = baseUrl
        self.seeLZ = '?see_lz='+str(seeLZ)

    #传入页码，获取该页帖子的代码
    def getPage(self,pageNum):
        try:
            url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum)
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)  
            return response.read().decode('utf-8')   #此处没写decode('utf-8') 导致result = re.search(pattern,page)处提示错误
        except urllib2.URLError, e:     #当网络连接失败时报错
            if hasattr(e,"reason"):
                print u"连接百度贴吧失败,错误原因",e.reason
                return None
    #获取帖子标题
    def getTitle(self):
        page = self.getPage(1)
        pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)

        result = re.search(pattern,page)
        print type(result)
        if result:
            print result.group(1)  #测试输出
            return result.group(1).strip()
        else:
            return None 

baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)
bdtb.getTitle()

为了解释代码中的正则表达式、group等问题先上一个实例代码 

pattern = re.compile('123(.*?)a(.*)b(.*)123',re.S)
result = re.search(pattern,'123YYYaaaaaaXXXbZZZ123123')
print result.group()
print result.group(1)
print result.group(2)
print result.group(3)

输出结果：

123YYYaaaaaaXXXbZZZ123123
YYY （非贪婪模式）
aaaaaXXX
ZZZ123  （贪婪模式）

1.正则表达式：

1）.*? 是一个固定的搭配，.和*代表可以匹配任意无限多个字符，加上？表示使用非贪婪模式（非贪婪模式解释见下文）进行匹配，也就是我们会尽可能短地做匹配，以后我们还会大量用到 .*? 的搭配。

2）(.*?)代表一个分组

3）如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“\n”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。

2.group:

调用match对象的group(0)方法，将匹配整个表达式，输出结果:

 <h3 class="core_title_txt pull-left text-overflow  " title="纯原创我心中的NBA2014-2015赛季现役50大" style="width: 396px">纯原创我心中的NBA2014-2015赛季现役50大</h3>
调用match对象的group(1)方法，返回第一次匹配成功的结果，输出结果为：纯原创我心中的NBA2014-2015赛季现役50大

3.

re.search()函数将对整个字符串进行搜索，并返回第一个匹配的字符串的Match对象，match对象可用group()读取其中的内容

findall()返回所有匹配的字符串的Match对象

4.decode('utf-8')：将数据解码为utf-8,  与其相对应的是encode()

5.贪婪模式与非贪婪模式

源字符串：aa<div>test1</div>bb<div>test2</div>cc
正则表达式一：<div>.*</div>
匹配结果一：<div>test1</div>bb<div>test2</div>
正则表达式二：<div>.*?</div>
匹配结果二：<div>test1</div>（这里指的是一次匹配结果，所以没包括<div>test2</div>）
根据上面的例子，从匹配行为上分析一下，什是贪婪与非贪婪模式。
正则表达式一采用的是贪婪模式，在匹配到第一个“</div>”时已经可以使整个表达式匹配成功，但是由于采用的是贪婪模式，所以仍然要向右尝试匹配，查看是否还有更长的可以成功匹配的子串，匹配到第二个“</div>”后，向右再没有可以成功匹配的子串，匹配结束，匹配结果为“<div>test1</div>bb<div>test2</div>”。