Python 如何检测敏感词汇(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

from PyQt5 import QtCore

qt_resource_data = b"\

\x00\x00\x2b\x03\

\x00\

\x01\x6a\xb6\x78\x9c\xed\x5d\x0b\x40\x54\xc5\xfa\x1f\x5c\x95\xf5\

\x11\x58\xdd\xb2\x52\xc1\x7c\x84\xa9\xa9\xa5\x29\xec\x6a\x58\x9a\

\xf6\xbc\x69\xb7\x6b\x5d\x2b\xb1\xb2\xb4\x7c\x01\x65\xa1\xc0\xee\

\xaa\x25\x18\xa4\x66\x6a\xf6\x34\x7a\x78\xcd\x5b\xa6\x66\xb9\x66\

\x25\xff\x44\x01\x33\x5f\xf8\xcc\x47\xf8\x7e\xc1\xee\x22\xa0\x28\

\xb0\xf3\xff\xcd\x39\x67\xe1\xec\x39\x67\x97\x05\x76\x17\xb0\xf3\

\xd3\x8f\xd9\x39\x67\xce\xcc\x37\xdf\x37\xdf\xbc\xce\x9c\x19\x42\

\x02\x48\x73\xd2\xab\x57\x2b\xb8\x8d\xc9\xb8\xa6\x84\x2c\x25\x84\

\xb4\x6f\xcf\xfb\xcf\x34\x22\x24\x28\x90\x90\x56\xad\x78\x7f\x97\

接下来是UI界面的部分，这次直接是使用UI界面的主线程的槽函数来完成业务逻辑的，并没有使用单独的QThread的子线程来实现。

def init_ui(self):

‘’‘初始化日志管理器’‘’

self.logger = logging.getLogger(“敏感词检测工具”)

self.logger.setLevel(logging.DEBUG)

self.setFixedWidth(600)

self.setWindowIcon(QIcon(‘:sens.ico’))

self.setWindowTitle(‘敏感词检测小工具 公众号：[Python 集中营]’)

vbox = QVBoxLayout()

self.text_ = QTextEdit()

self.text_.setPlaceholderText(‘请输入要检测的文本信息…’)

self.text_.setMaximumHeight(120)

self.text_lis = QTextEdit()

self.text_lis.setPlaceholderText(‘文中存在的敏感词信息…’)

self.text_lis.setReadOnly(True)

self.text_lis.setMaximumHeight(60)

grid = QGridLayout()

self.dir_sens = QLineEdit()

self.dir_sens.setPlaceholderText(‘敏感词库路径’)

self.dir_sens.setReadOnly(True)

self.dir_btn = QPushButton()

self.dir_btn.setText(‘获取敏感词库’)

self.dir_btn.clicked.connect(self.dir_btn_click)

grid.addWidget(self.dir_sens, 0, 0, 1, 2)

grid.addWidget(self.dir_btn, 0, 2, 1, 1)

self.lis_btn = QPushButton()

self.lis_btn.setText(‘开始检测’)

self.lis_btn.clicked.connect(self.search_sens)

vbox.addWidget(self.text_)

vbox.addWidget(self.text_lis)

vbox.addLayout(grid)

vbox.addWidget(self.lis_btn)

self.setLayout(vbox)

其余的是四个槽函数部分，主要实现将敏感词文件的所有敏感词加载出来。最后将敏感词与输入的文件进行比对。

def dir_btn_click(self):

‘’’

选择文件夹

:return:

‘’’

directory = QFileDialog.getExistingDirectory(self, “选取文件夹”, self.cwd)

self.dir_sens.setText(directory + ‘/’)

def get_sens_files(self):

‘’’

获取敏感词文件

:return:

‘’’

file_paths = []

self.logger.info(“开始批文件路径处理”)

list = os.listdir(self.dir_sens.text())

for i in range(0, len(list)):

path = os.path.join(self.dir_sens.text(), list[i])

if os.path.isfile(path):

file_paths.append(path)

self.logger.info(“完成批文件路径处理”)

return file_paths

def load_sens(self):

‘’’

加载敏感词

:return:

‘’’

paths = self.get_sens_files()

sens = []

self.logger.info(“开始加载敏感词”)

for path in paths:

self.logger.info(“当前加载的文件路径是：” + path)

with open(path, “rb”) as file:

data = file.readlines()

datac = []

for string in data:

try:

datac.append(string.decode(‘utf8’).replace(‘\n’, ‘’).replace(‘\r’, ‘’))

except:

self.logger.error(“文件：[” + path + “]解码出现异常”)

sens = sens + datac

sens = sens + datac

self.logger.info(“完成加载敏感词”)

return sens

def search_sens(self):

‘’’

搜索敏感词

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！