python3 贴吧爬虫.py

"""
参考：https://blog.51cto.com/alun51cto/2388710
"""
__author__ = 'ALunr'
# date: 2019/5/3
from urllib import parse
import urllib.request


# 写一个爬取网页的函数loadPage
def loadPage(url, filename):
    """
        作用：根据url发送请求，获取服务器响应文件
        url：需要爬取的url地址
        filename: 处理的文件名
    """
    print("正在下载" + filename)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
    }

    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    return response.read()


# 将爬取到了每页的信息存储在本地磁盘上，简单写一个存储文件的接口。
def writeFile(html, filename):
    """
        作用：保存服务器响应文件到本地磁盘文件里
        html: 服务器响应文件
        filename: 本地磁盘文件名
    """
    print("正在存储" + filename)
    with open(filename, 'w') as f:
        f.write(html)
    print("-" * 20)


# 写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口，
# 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
    """
        作用：负责处理url，分配每个url去发送请求
        url：需要处理的第一个url
        beginPage: 爬虫执行的起始页面
        endPage: 爬虫执行的截止页面
    """
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        filename = "第" + str(page) + "页.html"

        fullurl = url + "&pn=" + str(pn)  # 组合为完整的 url，并且pn值每次增加50
        print(fullurl)
        print(filename)

        html = loadPage(fullurl, filename)  # 调用loadPage()发送请求获取HTML页面
        writeFile(html, filename)  # 将获取到的HTML页面写入本地磁盘文件

    # 先写一个main，提示用户输入要爬取的贴吧名，并用parse.urlencode()
    # 进行转码，然后组合url，假设是lol吧，那么组合后的url就是：http: // tieba.baidu.com / f?kw = lol


# 模拟 main 函数
if __name__ == "__main__":
    kw = input("请输入需要爬取的贴吧:")
    # 输入起始页和终止页，str转成int类型
    beginPage = int(input("请输入起始页："))
    endPage = int(input("请输入终止页："))

    url = "http://tieba.baidu.com/f?"
    key = parse.urlencode({"kw": kw})
    url = url + key
    print(url)  # 组合后的url示例：http://tieba.baidu.com/f?kw=lol
    tiebaSpider(url, beginPage, endPage)