python爬虫：从百度贴吧中爬数据

python爬虫：从百度贴吧中爬数据

使用的python包

1 from bs4 import Beautifuls 一个十分好用的网页提取的工具包
2 import requests 用于发送各种html请求
3 import re 用编写各种正则语句

分析网页结构

我们所抓取的是百度贴吧的帖子，https://tieba.baidu.com/p/5227503742?see_lz=1&pn=1为书荒吧的一个帖子，其前面部分http://tieba.baidu.com/p/3138733512为网页地址，数字为帖子的标识符。问号?后的为参数，经斜体文本过测试可以猜测出see_lz为是否只看楼主，pn为页数
打开网页，F12后可以看到网页的结构，具体的是要找到我们想要部分的结构，如下：

使用requests获得页面

使用requests发送get请求，得到网页：

    def get_page(self,page_num):
        url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)
        try:
            page = requests.get(url).text
            return page
        except requests.RequestException as e:
            if hasattr(e,'reason'):
                print('无法连接：%s'%e)
            return None

得到网页中想要的内容

通过分析网页结构，定位到想要的块，使用beautifulsoup的find，findAll方法匹配快的名称，class，id等信息，具体的使用可以查看beautifulsoup文档

    def get_info(self):
        page = self.get_page(1)
        soup = BeautifulSoup(page,'lxml')
        self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string
        self.page_num = int(self.page_num)
        self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string

定义一个过滤网页不需要信息的类

通过各种正则语句来定位信息，然后对定位的数据进行处理。使用re.compile()生成正则表达式，使用re.sub()函数对正则表达式匹配到的字符串进行替换。更多的正则使用方法见正则表达式语法

class Filter:
    ##去除图片
    remove_img =  re.compile('<br/><img.*?>')
    ##去除超链接
    remove_link = re.compile('<a.*?>|</a>')
    ##将制表符td换成\n
    replace_td = re.compile('<td>')
    ##将换行符br换成\n
    replace_br = re.compile('<br/>')
    ##将其他标签替换为空
    remove_tag = re.compile('<.*?>')

    def filter(self,x):
        x = re.sub(self.remove_img,'',x)
        x = re.sub(self.remove_link,'',x)
        x = re.sub(self.replace_td,'\n',x)
        x = re.sub(self.replace_br,'\n',x)
        x = re.sub(self.remove_tag,'',x)
        return x.strip() 

最终的python代码如下

#coding=utf-8
from bs4 import BeautifulSoup
import requests
import re

class Filter:
    ##去除图片
    remove_img =  re.compile('<br/><img.*?>')
    ##去除超链接
    remove_link = re.compile('<a.*?>|</a>')
    ##将制表符td换成\n
    replace_td = re.compile('<td>')
    ##将换行符br换成\n
    replace_br = re.compile('<br/>')
    ##将其他标签替换为空
    remove_tag = re.compile('<.*?>')

    def filter(self,x):
        x = re.sub(self.remove_img,'',x)
        x = re.sub(self.remove_link,'',x)
        x = re.sub(self.replace_td,'\n',x)
        x = re.sub(self.replace_br,'\n',x)
        x = re.sub(self.remove_tag,'',x)
        return x.strip() 


class Spider:
    def __init__(self,base_url,see_lz,txt_path):
        self.base_url = base_url
        self.see_lz = see_lz
        self.page_num = 0
        self.title = ''
        self.m_filter = Filter()
        self.txt_path = txt_path
        self.floor = 0

    def get_page(self,page_num):
        url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)
        try:
            page = requests.get(url).text
            return page
        except requests.RequestException as e:
            if hasattr(e,'reason'):
                print('无法连接：%s'%e)
            return None

    def get_info(self):
        page = self.get_page(1)
        soup = BeautifulSoup(page,'lxml')
        self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string
        self.page_num = int(self.page_num)
        self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string

    def get_content(self):
        self.get_info()
        print('开始写文件（总共%s页）：'%self.page_num)
        file = open(self.txt_path,'w',encoding='utf-8')
        file.write('----------------<< %s >>-------------\n\n\n'%(self.title))
        for i in range(self.page_num):
            print('第%s页内容写入。。。'%(i+1))
            page = self.get_page(i+1)
            soup = BeautifulSoup(page,'lxml')
            contents = soup.find('div',class_='p_postlist').contents
            for content in contents:
                stance= content.find('div',id=re.compile('post_content_.*?'))
                if not(stance):
                    continue
                self.floor += 1
                seg = '------------------------------------------ 第%s楼 ----------------------------------\n'%(self.floor)
                file.write(seg)
                file.write(self.m_filter.filter(str(stance))+'\n\n')
        print('写入完成！')

if __name__=='__main__':
    base_url = 'https://tieba.baidu.com/p/5219956465'
    see_lz = 1
    txt_path = 'C:/Users/wgy/Desktop/bdtb.txt'

    m_spider = Spider(base_url,see_lz,txt_path)
    m_spider.get_content()

得到的txt文档效果