搜索NLP行业模型和轻量化客户定制

简介：开放搜索NLP行业模型和轻量化客户定制方案，解决减少客户标注成本、完全无标注或少量简单标注的等问题，让搜索领域扩展更易用。

特邀嘉宾：

徐光伟（昆卡）--阿里巴巴算法专家

搜索NLP算法

搜索链路

这是一个完整的从查询词到搜索结果的链路， 其中NLP算法发挥作用的地方主要在第二阶段的查询分析，该阶段包含多个NLP 算法模块，如文本侧的分词、纠错、实体识别、词权重、同义词以及语义向量等。系统是结合文本和语义向量多路召回排序的架构，从而满足不同业务场景的搜索效果需求。当然除了查询分析，在第一阶段的搜索引导以及第四阶段的排序服务中也有很多NLP 算法的应用。

查询分析

NLP 算法主要在这里的几个子模块发挥作用：

• 分词，精准的分词可以提高检索效率，也会让召回结果更加精准，
• 拼写纠错，对用户输入的query中出现拼拼写错误可以自动去纠错，提高搜索的体验。
• 实体识别，可以对query 中的每个词打上对应的实体标签，从而为后续的query改写和排序提供关键的特征。
• 词权重模型，会对每个词打上高、中、低的档位，在查询结果时去做丢词的重查。
• 同义词，扩展出相同意思的词来扩大召回范围。
• 最后是经过完整的查询分析模块之后的一个整体的query改写，将用户输入的query转换成我们搜索引擎能识别到的查询串。

现在开放搜索不仅支持了阿里自研的搜索引擎，也对开源的ES引擎做了兼容，可以让用户更方便的使用到我们的算法能力。

行业模型

<