AI产品经理，如何从零开始打造专业领域的停用词库-CSDN博客

本文链接：https://blog.csdn.net/huang9604/article/details/139293508

在SEO中，为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词即被称为停用词。那么对于AI产品经理来说，要如何从零开始打造专业领域的停用词库？

人工智能领域有三大基础：数据、计算力和算法，只有有了数据，才会有数据智能，有了数据才能描绘用户精准画像，从而进行丰富的个性化推荐、精准营销。计算力现在各家体力相当，没有多大差别，而好的算法却能够让你的AI产品更加智能。

在智能客服、垂直行业的AI助手：法律、金融、体育、医疗健康、智能语音助手领域，如何从零打造自己的停用词库是一个产品经理必备技能？

什么是停用词

停用词（Stop Words），词典译为“电脑检索中的虚字、非检索用字”。在SEO中，为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词即被称为Stop Words（停用词）。

停用词一定程度上相当于过滤词（Filter Words），不过过滤词的范围更大一些，包含黄色、政治等敏感信息的关键词都会被视做过滤词加以处理，停用词本身则没有这个限制。通常意义上，停用词（Stop Words）大致可分为如下两类：

（1）使用十分广泛，甚至是过于频繁的一些单词。比如英文的“i”、“is”、“what”，中文的“我”、“就”之类词几乎在每个文档上均会出现，查询这样的词搜索引擎就无法保证能够给出真正相关的搜索结果，难于缩小搜索范围提高搜索结果的准确性，同时还会降低搜索的效率。

因此，在真正的工作中，Google和百度等搜索引擎会忽略掉特定的常用词，在搜索的时候，如果我们使用了太多的停用词，也同样有可能无法得到非常精确的结果，甚至是可能大量毫不相关的搜索结果。

（2）文本中出现频率很高，但实际意义又不大的词。这一类主要包括了语气助词、副词、介词、连词等，通常自身并无明确意义，只有将其放入一个完整的句子中才有一定作用的词语。如常见的“的”、“在”、“和”、“接着”之类，比如：“AI产品经理总舵是AI产品经理的汇集地”这句话中的“是”、“的”就是两个停用词。

为什么要建停用词库

文本中如果大量使用停用词容易对聊天对话中的有效信息造成噪音干扰，所以QA搜索引擎在运算之前都要对所索引的信息进行消除噪音的处理。了解了停用词，在对话语料内容中适当地减少停用词出现的频率，可以有效地提高关键词密度，使得自然语言理解过程中的意图识别和语义匹配更加准确。

所以搭建专业领域的停用词库，对处理专业语料库及用户问题的意图识别及语义匹配的准确性会有很大提高。

如何搭建专业停用词库

1. 汇总通用停用词库

标点符号：，。、？“”等
语气词：呵呵呜呜哈呸等
指代词：我你各位等
连接词：即使即便却或等
总结词：总的来说再者说何乐不为等
英文词：yourself yes who等

现在网上有一些通用停用词库，例如：百度停用词列表、四川大学机器智能实验室停用词库、哈工大停用词表等，整理去重后有2428条。但是每个领域有专业语言特色，特别是金融领域医药领域和法律领域，如果能够加上专业停用词做补充，那样识别和匹配结果效果会更好。

2. 筛选行业专有停用词

以保险行业为例，首先通过网络搜集保险行业问答QA语料，如下图所示：

将QA分别做分词处理，然后统计词频按数量排序，如下图所示：

将该数据和通用停用词做去重后，人工筛选行业专有停用词。将筛选完成的专业专有停用词和通用停用词合并，就构成了保险行业的专有停用词库了。

AI产品经理的极致理论

AI产品已经进入精细化设计阶段，因为对话型机器人产品特性原因，输入输出的极度简单，也就造成了处理过程的极度复杂。一个对话型机器人系统包含了近二十项技术模块，每个模块都会影响最终输出的结果，只有把颗粒度分的足够细小，在每一个颗粒度上做到“好一点”，才能使得最终结有明显提升。

小米产品里有一个极致思维，估计大家都听过木桶理论，说是一个木桶，能装多少水，取决于拼凑这个木桶所有的木板最短的那块。然而在AI产品已经普及（例如智能音箱），避免出现短板，已经不是最大的难题了。

难题是什么呢？

如何提高每一块板的高度，这时候就需要用到极致思维。就是说怎么在每一块板子上下功夫，把每一块板子都做到极致。

举个例子：IPod刚出来的时候和其他MP3最大的区别是什么呢？是在机器里面加了一个小硬盘，能存上千首歌。连续播放几天集不重样，就因为这一点做到了极致，迅速占领了音乐播放器市场。小米产品能够迅速占领市场，是因为他优化了整个供应链系统，才有了物美价廉的产品。

AI产品经理要有数据信仰

AI产品要坚信，未来的技术及产品的底层智能是数据智能，数据是一切运算及逻辑的本质基础，具备数据信仰才能做好AI产品。数据是基础，算法是路径，具备了足够干净的数据和合适的算法，才会有更准确的结果。

这里说的算法不仅仅指的工程师写出来的算法，那只是狭义的算法，我所说的是广义的算法，既包括产品经理的做事的前后顺序及做事方法，一切选择都会对结果造成影响，一切影响都会左右最终结果，这里不做价值判断。

AI产品经理在工作中要有数据信仰，多做数据判断，少做主观判断，这样最终结果才不会和预期有太大偏差。

雷军曾经说过，要想知道产品的迭代方向，不是产品经理拍脑门想出来的，也不是通过客服反映出来的，客服反映的只是愿意表达的那部分用户的需求，而不是全部用户的需求，就像是现在的一些论坛，看帖的用户数是发帖用户数的十倍以上，所有帖子中热帖数量只占到所有帖子数量的1%。

也就是说论坛其实是1000个人在听1个人讲话，甚至更低，而这一个人根本不能代表1000个人的需求。

数据信仰就是要去看数据的本质，透过数据本质才能找到更好的算法。中国汉字有4万个，常用的只有3500个，常用对话句式有10W条，但是抽离出来的停用词也就不到2500个。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍