NLP-bootstrap snowball

目录

一、概述

二、流程

1.生成规则模板

①相似度计算

② 层次聚类

2.生成记录

3.模板评估+过滤

4.记录评估+过滤

---

一、概述

相对于原来的bootstrap，表达方式由原来的三元组（实体1，规则，实体2），变成了五元组（左，实体1，中，实体2，右），每次循环增加了对规则的评估及过滤，以及对记录的准确率评估及过滤。

二、流程

在开始循环之前，仍然有seed tuple，一些准备好的正确记录。

1.生成规则模板

定义长度=2，那么就是选择实体左边的两个词+右边的两个词，把规则表示成五元组：

（左，实体1，中，实体2，右）

其中，左中右这三个部分，都是向量，可以使用one-hot，长度为词库长度。

①相似度计算

生成的模板可能有多种多样，我们需要通过相似度的计算，将相似度高的模板归为一类。计算过程中，如果实体类型不一样，那么相似度为0。

直接用内积即可，不需要除以模长，因为我们在用向量表示规则的时候，已经进行了一种归一化了，表示成了长度为1的向量。如下图。

相似度计算的时候，对“左中右”每一个部分增加一个权重，并保证权重之和为1，通常，中间的部分权重最大。

② 层次聚类

设定一个阈值，比如0.7，只要两个规则模板的相似度＞0.7，就把这两个分为一类，这样可以将所有模板分成几大类，然后对聚类好的模板进行平均，生成新模板。

2.生成记录

对文本进行扫描，出现了两个实体之后，挨个去和已有的规则计算相似度，只要有一个大于相似度阈值，比如0.7，那么就把实体放进表格里。计算相似度方式和上面一样。

3.模板评估+过滤

由于我们在生成记录的时候，使用的是我们归类好的所有模板，因此，可以将所有模板生成的记录作为ground truth，看看如果只使用一个模板，在同样的文本里，只按照这个模板来扫描，生成记录。看看能生成多少，然后二者相除，即可得到该模板的分数。然后给模板分数设定一个阈值，比如0.5，小于这个阈值的就删除。

4.记录评估+过滤

现在我们有已知的规则模板的分数了，生成的记录，有的是一个模板扫描文本后生成的，有的是多个模板扫描文本后生成的，因此可以通过以下方式计算记录的分数：

其中，con(Pi)就是第i个规则模板的分数。

同样的，我们设定一个阈值，比如0.7，只要分数小于0.7的记录，我们就删除。

重复以上四步即可。