文本信息过滤中的变体词识别（一）

#文本信息过滤中的变体词识别（一）

变体词识别概述

最近在搞文本过滤的一些工作，有一些变体词识别相关的工作，比较多的参考了达观数据的一些公开分享，我这里准备分三篇文章做一些总结，这是第一篇：
先来一个严谨的定义：
网络书写具有随意性、非正规性等特点。变体词就是网络语言作为一种不规范语言的显著特色, 人们往往出于避免审查、表达情感、讽刺、娱乐等需求将相对严肃、规范、敏感的词用相对不规范、不敏感的词来代替, 用来代替原来词的新词就叫做 变体词(Morph) 。变体词和其对应的原来的词(目标实体词)会分别在非规范文本和规范文本中共存, 甚至变体词会渗透到规范文本中。变体词使行文更加生动活泼, 相关事件、消息也传播得更加广泛。但是因为变体词通常是某种隐喻, 已不再是其表面字词的意义了, 从而使网络上文体与正式文本(如新闻等)具有巨大的差异。由此如何识别出这些变体词及其所对应的目标实体词对于下游的自然语言处理技术具有重要的意义。

在信息过滤的场景中，变体词识别问题是进行语义特征抽取需要解决的重要问题

图片来自达观数据电子杂志

针对变体词识别的方法，现在是有通用的架构

包括如下步骤:

1. 变体词的识别: 候选变体词的发现, 候选变 体词的验证。
2. 变体词的规范化: 变体词的候选目标实体词 的发现, 变体词的候选目标实体词的打分排序, 输 出最优的目标实体词。
   

<