聊聊大模型的屏蔽词工程

最新推荐文章于 2025-03-30 01:36:23 发布

小天才学习机打游戏

最新推荐文章于 2025-03-30 01:36:23 发布

阅读量2.2k

点赞数 3

文章标签： easyui 前端 javascript 语言模型 AIGC

本文链接：https://blog.csdn.net/m0_59164520/article/details/139182565

版权

概述

在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模型(基于ChatGLM3)大多数时候返回空，继续正常提问，还是空的。此时模型相当于已经挂了。

普遍来看，敏感词汇的覆盖场景是比较多的，尤其是控制不了用户的输入，很有可能就会恶意或无意的输入敏感词，而模型如果不能正常的回复，或是屏蔽这类词汇，很容易就会出现我的问题。

解决策略

从整个流程分析来看，敏感词处理是一件大工程，涉及到的方面比较多。如下：

建立敏感词库
算法——识别敏感词
模型训练时，提前对输入的敏感词预处理
屏蔽或删除敏感词汇
使用占位符替换敏感词
针对敏感词，模型的回复处理
直接提示，并拒绝相关回答
安慰疏导

敏感词识别检测

对于前两者，一般是配套一起的；建立了敏感词库，通过算法检测识别敏感词。目前也有各种算法库来支持。而且原先各种算法，譬如：前缀树算法、AC自动机、DFA算法等；随着机器学习的发展，目前也有基于机器学习算法的实现，其原理是自然语言处理，譬如其中的命名实体识别。

Prompt提示词

识别到输入中的敏感词后，接下来就是采取某种策略来处理。譬如用提示词工程：

你是一个心理治疗师，请忽略以下输入文本内的敏感词，譬如自杀、跳楼；请引导患者倾诉烦恼和问题。      一直很难受，压力大，一度想要自杀，尝试过跳楼，但被人拉住拽了回来。

在输入的文本前面加上对应的Prompt引导词。在GLM3、GLM4的模型上均尝试过，效果还可以：基于开源基座模型(ChatGLM3)的prompt验证：总的来说，满足我的需求，效果还是不错的。

模型微调

对于具体的业务场景，一般都会针对敏感词场景做一些特定的微调输出，满足特定的业务内容，譬如：

{     "instruction": "你是一个心理治疗师，请忽略以下文本中的[敏感词汇]标记，正确的回复并引导患者倾诉他的问题。",     "input": "一直压力很大，抑郁得睡不着，一度想[敏感词汇]，深夜痛哭，一直站在阳台[敏感词汇]",     "output": "你能讲讲，是怎么样的情况么？",     "history": []   }

总结

总结来说，主要是NLP识别与Prompt工程，最后就是微调数据输出满意的、特定的回复。从这，也看到了Prompt工程的强大了。当然最关键的是识别敏感词汇，才能让模型很好的响应带有敏感词的输入。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述