百度贴吧爬虫

 本文简介：使用python3实现任意贴吧的爬虫，保存页面到本地。 （用于了解爬虫）

分析：访问贴吧

 

 

我们可以发现，  url中的https://tieba.baidu.com/f?kw=666

kw参数指定的值就是所要访问的吧名

 然后我们观察贴吧页数的链接，看看有什么规律。

可以发现，url为：https://tieba.baidu.com/f?kw=%E6%9D%8E%E6%AF%85&ie=utf-8&pn=50

增加了ie参数和pn参数。ie参数为编码方式 pn则为50

我们点击下一页再次查看

pn参数变为100         由此我们可以判断pn参数的值就是用来指定页数的，50为一个间隔

第一页没有pn参数，就可以将pn参数的值设置成0即可，由此我们已经找到贴吧页面的访问规律。

 

下面来编写代码，首先思路：

我们可以将我们实现的过程分为3个主要步骤

 使用面向对象的方法将每一个步骤封装成对象对应的方法来进行调用。

1.构造url列表

   定义一个url修改制定参数

2.遍历，发送请求，获取响应

3.保存

最后附上代码

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

import requests

class TiterSpider:  #实现类
    def __init__(self,tieba_name):  #初始化
        self.tieba_name = tieba_name   #使得其他函数可调用tieba_name(用于保存)
        #请求链接
        self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
        #请求头
        self.headers = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36"}

    def get_url_list(self):   #1.构造url列表
        #低级
        # url_list = []
        # for i in range(5):
        #     url_list.append(self.url_temp.format(i*50))
        # return url_list

        #列表推导式实现
        return [self.url_temp.format(i*50) for i in range(5)]  #循环5次

    def  parse_url(self,url):  #发送请求， 获取响应
        print(url)   #控制台查看效果
        response = requests.get(url,headers=self.headers)
        return response.content.decode()

    def save_html(self,html_str,page_num):  #保存html字符串
        file_path = "{}-第{}页.html".format(self.tieba_name,page_num)   #第定义保存形式 "李毅-第1页.html"
        with open(file_path,"w",encoding="utf-8") as f:   #此处不修改编码会报错，默认文件读写编码为ascii码
            f.write(html_str)

    def run(self): #实现主要逻辑
        url_list = self.get_url_list()   #1.构造url列表
        for url in url_list:             #2.遍历，发送请求，获取响应
            html_str = self.parse_url(url)
            # 3.保存
            page_num = url_list.index(url)+1      #页码数,从第一页开始。
            self.save_html(html_str,page_num)

if __name__ == '__main__':
    tieba_spider = TiterSpider("lol")  #制定访问贴吧的名称
    tieba_spider.run()     #调用run方法

效果图：

 

补充：response.content和response.text的区别

response.text

   类型：str

   解码类型：根据HTTP头部对响应的编码作出有根据的推测，推测的文本编码

   如何修改编码方式：response.encoding="gbk"

response.content

   类型：bytes

   解码类型：没有指定

   如何修改编码方式： response.content.decode("gbk")  默认utf-8

 

更推荐使用response.content.decode()的方式获取响应的html页面。

未完善处：没有指定页数，存在不同吧 页数不同的情况~