用户输入关键字，爬取百度贴吧

最新推荐文章于 2020-12-01 14:35:18 发布

Xcq007

最新推荐文章于 2020-12-01 14:35:18 发布

阅读量413

点赞数

文章标签： python

本文链接：https://blog.csdn.net/xcq007/article/details/82759510

版权

本文介绍了如何使用Python爬虫技术，针对百度贴吧进行网页抓取，覆盖了从第一页到第三页的数据获取过程。

摘要由CSDN通过智能技术生成

爬取百度贴吧

#coding=utf-8
import urllib2
import urllib

def loadPage(url, filename):
    '''
        作用:根据url发送请求， 获取服务器响应文件
        url:需要爬取的url地址
        filename:处理文件名
    '''
    head = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

    print '正在下载' + filename
    request = urllib2.Request(url, headers=head)
    return urllib2.urlopen(request).read()


def writePage(html, filename):
    '''
        作用:将html文件内容写入文件
        html:服务器响应文件
        filename:文件名
    '''
    print '正在保存' + filename
    with open(filename, 'w') as f:
        f.write(html)
    print '_' * 50

def tiebaSpider(url, beginPage, endinPage):
    '''
        作用：贴吧爬虫调度器，负责组合处理每个页面的url
        url：贴吧url的前半部分
        beginPage：起始页
        endinPa