自然语言处理真实项目实战

前言

本文根据实际项目撰写，由于项目保密要求，源代码将进行一定程度的删减。本文撰写的目的是进行公司培训，请勿以任何形式进行转载。由于是日语项目，用到的分词软件等，在中文任务中需要替换为相应的中文分词软件。例如结巴分词 ： https://github.com/fxsjy/jieba

前提知识和术语解释

如果需要获得更多知识，请自行百度，谷歌。中文资料不是很多，有能力请阅读相关论文资料。

余弦相似度

余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。

余弦相似度

将向量根据坐标值，绘制到向量空间中。如最常见的二维空间。　求得他们的夹角，并得出夹角对应的余弦值，此余弦值就可以用来表征，这两个向量的相似性。夹角越小，余弦值越接近于1，它们的方向更加吻合，则越相似。

单位矢量

单位向量是指模等于1的向量。由于是非零向量，单位向量具有确定的方向。一个非零向量除以它的模，可得所需单位向量。单位向量有无数个。（矢量和向量是同一个意思，Vector，这里习惯用矢量这个词语）

向量加减

平行四边形定则解决向量加法的方法：将两个向量平移至公共起点，以向量的两条边作平行四边形，结果为公共起点的对角线。平行四边形定则解决向量减法的方法：将两个向量平移至公共起点，以向量的两条边作平行四边形，结果由减向量的终点指向被减向量的终点。

image.png

向量点积

代数定义设二维空间内有两个向量

和

，定义它们的数量积（又叫内积、点积）为以下实数：

更一般地，n维向量的内积定义如下:

点乘的结果就是两个向量的模相乘，然后再与这两个向量的夹角的余弦值相乘。或者说是两个向量的各个分量分别相乘的结果的和。很明显，点乘的结果就是一个数，这个数对我们分析这两个向量的特点很有帮助。如果点乘的结果为0，那么这两个向量互相垂直;如果结果大于0，那么这两个向量的夹角小于90度;如果结果小于0，那么这两个向量的夹角大于90度。

TF-IDF

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。

Doc2Vec

在自然语言处理中，一个很重要的技术手段就是将文档转换为一个矢量，这个过程一般是使用gensim这个库进行处理的。gensim官网地址如果你需要Java版本的Doc2Vec：https://github.com/NLPchina/W...

Token

Token在词法分析中是标记的意思。自然语言处理中，一般来说，Token代表“词”。自然语言预处理中，一个很重要的步骤就是将你收集的句子进行分词，将一个句子分解成“词”的列表。

交叉验证

交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize）least-one-out cross-validation(loocv)假设dataset中有n个样本，那LOOCV也就是n-CV，意思是每个样本单独作为一次测试集&#x