【Python】实例：批量爬取百度贴吧页面数据

首先观察一下百度贴吧的url：

• 百度贴吧LOL吧第一页：lol吧-百度贴吧--第一手电竞资讯/英雄攻略/尽在LOL吧--欢迎大家来到LOL吧，这里将会为大家提供第一手赛事、资讯、攻略等优质内容，不定时邀请职业选手、主播来访LOL吧，玩累了还可以同大家一起交流、
• 第二页： lol吧-百度贴吧--第一手电竞资讯/英雄攻略/尽在LOL吧--欢迎大家来到LOL吧，这里将会为大家提供第一手赛事、资讯、攻略等优质内容，不定时邀请职业选手、主播来访LOL吧，玩累了还可以同大家一起交流、
• 第三页： lol吧-百度贴吧--第一手电竞资讯/英雄攻略/尽在LOL吧--欢迎大家来到LOL吧，这里将会为大家提供第一手赛事、资讯、攻略等优质内容，不定时邀请职业选手、主播来访LOL吧，玩累了还可以同大家一起交流、

总结出的规律：贴吧中每个页面不同之处，就是url最后的pn的值，其余的都是一样的。

爬虫代码如下：

import urllib.request as ure
import urllib.parse as upa

def loadPage(url, filename):
    '''
        作用：根据url发送请求，获取服务器响应文件
        url: 需要爬取的url地址
        filename : 处理的文件名
    '''
    print('正在下载 ' + filename)
    headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'}

    request = ure.Request(url, headers = headers)
    return ure.urlopen(request).read()

def writePage(html, filename):
    '''
        作用：将html内容写入到本地
        html：服务器相应文件内容
    '''
    print('正在保存 ' + filename)

    with open(filename, 'wb+') as f:
        f.write(html)
    print('-' * 30)

def tiebaSpider(url, beginPage, endPage):
    '''
        作用：贴吧爬虫调度器，负责组合处理每个页面的url
        url : 贴吧url的前部分
        beginPage : 起始页
        endPage : 结束页
    '''
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        
        filename = '第' + str(page) + '页.html'
        fullurl = url + '&pn=' + str(pn)
        #print fullurl
        
        html = loadPage(fullurl, filename)
        #print html
        writePage(html, filename)
    print('谢谢使用')

if __name__ == '__main__':
    kw = input('请输入需要爬取的贴吧名:')
    beginPage = int(input('请输入起始页：'))
    endPage = int(input('请输入结束页：'))

    url = 'http://tieba.baidu.com/f?'
    key = upa.urlencode({"kw": kw})
    print('\n' + 'key:' + key)
    fullurl = url + key
    print('fullurl:',fullurl,'\n')
    tiebaSpider(fullurl, beginPage, endPage)

运行结果如下：