Python爬虫学习：案例-主题内容详情抓取（7）

1. 分析
   

#通过非贪婪模式将格式去除掉
pattern = re.compile('<.*?>')

br标签是换行符
由于此时所有格式均被清洗爬取结果不易读

为了保持爬取的内容格式和网页显示的一样可读，还需要在替换字符之前，将换行符br标签替换成换行符

 post = post.replace('<br/>','/n')

3. 代码实现

import re
import requests
from lxml import etree
import html
class PostsCrawler:

    domain = "https://www.newsmth.net"
    #通过非贪婪模式将格式去除掉
    pattern = re.compile('<.*?>')
    #获取网页内容
    def get_content(self,topic_url,page):
        querystring = {"ajax": "", "p": str(page)}
        url = self.domain + topic_url
        r = requests.get(url,params=querystring)
        #方便调用
        self.html = r.text
        self.tree = etree.HTML(r.text)
    #获取最大页码
    def get_max_page(self):
        #浏览器上下栏有两个分页设置，因此选择第一个即可
        pages = self.tree.xpath('//ol[@class="page-main"][1]/li')

        #只有一页的情况
        if len(pages) == 1:
            return 1
        #页面没有在最后一页时最大的页码
        last_page_test = pages[len(pages)-1].xpath('a')[0].text
        #如果页面在最后一页
        if last_page_test == '>>':
            return int(pages[len(pages)-2].xpath('a')[0].text)

        return last_page_test
    #获取帖子内容
    def get_posts(self):
        c_elements = self.tree.xpath('//td[@class="a-content"]')
        posts = []
        for c_element in c_elements:
            post = c_element.xpath('//p')[0]
            post = etree.tostring(post).decode('GBK')
            #增加可读性，在替换字符之前，将换行符br标签替换成换行符
            post = post.replace('<br/>','/n')
            post = self.pattern.sub('',post)
            post = html.unescape(post)
            posts.append(post)

        return posts

if __name__ == "__main__":
    url = "/nForum/article/AutoWorld/1942076572"
    post_crawler = PostsCrawler()
    #获取网页第一页内容
    post = post_crawler.get_content(url,1)
    posts = post_crawler.get_posts()
    page_count = post_crawler.get_max_page()
    print(page_count)
    #获取所有网页的内容
    if page_count > 1:
        for i in range(2,page_count +1):
            post = post_crawler.get_content(url, i)
            posts += post_crawler.get_posts()
            if i>=2:
                break
    i = 1   #分楼层
    for p in posts:
        print(p)
        print("=============================",i,"=============================")
        print("")
        i +=1