python 对网页文本的文本预处理

stay_foolish12

已于 2022-08-02 11:41:45 修改

阅读量235

点赞数

分类专栏： python 文章标签： html python

于 2022-08-02 11:41:13 首次发布

本文链接：https://blog.csdn.net/stay_foolish12/article/details/126119285

版权

python 专栏收录该内容

319 篇文章 29 订阅

订阅专栏

网页文本的文本预处理

import re 
class Tool:
    removeImg = re.compile('<img.*?>| {7}|')
    removeAddr = re.compile('<a.*?>|</a>')
    replaceLine = re.compile('<tr>|<div>|</div>|</p>')
    replaceTD = re.compile('<td>')
    replacePara = re.compile('<p.*?>')
    replaceBR = re.compile('<br><br>|<br>')
    removeExtraTag = re.compile('<.*?>')
    removeSpan = re.compile('<span(" ")+</span>')
    replaceN = re.compile("(\n)+(\t)?")
    special_symbol = re.compile("\u3000\u3000|\xa0|\xa0|\u3000\u3000")

    def replace(self, x):
        re.sub(self.special_symbol, "", x)
        x = re.sub(self.removeImg, "", x)
        x = re.sub(self.removeAddr, "", x)
        x = re.sub(self.replaceLine, "\n", x)
        x = re.sub(self.replaceTD, "\t", x)
        x = re.sub(self.replacePara, "\n", x)
        x = re.sub(self.replaceBR, "\n", x)
        x = re.sub(self.removeExtraTag, "", x)
        x = re.sub(self.removeSpan, "", x)
        x = re.sub(self.replaceN, "\n", x)

        return x.strip()
tool = Tool() 
sub_content = tool.replace(s)