自然语言处理(七）

最新推荐文章于 2021-06-09 23:46:45 发布

dayday学习

最新推荐文章于 2021-06-09 23:46:45 发布

阅读量1.1k

点赞数 1

分类专栏：自然语言处理文章标签： word2vec得到词向量 fastext one-hot

本文链接：https://blog.csdn.net/weixin_41781408/article/details/88416995

版权

自然语言处理（七）--简单神经网络

1.文本表示
2. FastText

1.文本表示

1.1 one-hot编码

什么是one-hot编码？one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图：
在这里插入图片描述

上图中我们已经对每个特征进行了普通的数字编码：我们的feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。那么one-hot编码是怎么搞的呢？我们再拿feature_2来说明：

这里feature_2 有4种取值（状态），我们就用4个状态位来表示这个特征，one-hot编码就是保证每个样本中的单个特征只有1位处于状态1，其他的都是0。
在这里插入图片描述
对于2种状态、三种状态、甚至更多状态都是这样表示，所以我们可以得到这些样本特征的新表示：

在这里插入图片描述
one-hot编码将每个状态位都看成一个特征。对于前两个样本我们可以得到它的特征向量分别为

one hot在特征提取上属于词袋模型（bag of words）。关于如何使用one-hot抽取文本特征向量我们通过以下例子来说明。假设我们的语料库中有三段话：

我爱中国

爸爸妈妈爱我

爸爸妈妈爱中国

我们首先对预料库分离并获取其中所有的词，然后对每个此进行编号：

1 我； 2 爱； 3 爸爸； 4 妈妈；5 中国

然后使用one hot对每段话提取特征向量：
在这里插入图片描述

因此我们得到了最终的特征向量为

我爱中国　->　　　1，1，0，0，1

爸爸妈妈爱我　　->　　1，1，1，1，0

爸爸妈妈爱中国　　->　　0，1，1，1，1

1.1.1sklearn实现one hot encode

from sklearn import preprocessing  

enc = preprocessing.OneHotEncoder()  # 创建对象
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])   # 拟合
array = enc.transform([[0,1,3]]).toarray()  # 转化
print(array)

在这里插入图片描述
优点：一是解决了分类器不好处理离散数据的问题，二是在一定程度上也起到了扩充特征的作用（上面样本特征数从3扩展到了9）

缺点：在文本特征表示上有些缺点就非常突出了。首先，它是一个词袋模型，不考虑词与词之间的顺序（文本中词的顺序信息也是很重要的）；其次，它假设词与词相互独立（在大多数情况下，词与词是相互影响的）；最后，它得到的特征是离散稀疏的。

1.2 word2vec得到词向量

先有了文本语料库，你需要对语料库进行预处理，这个处理流程与你的语料库种类以及个人目的有关，比如，如果是英文语料库你可能需要大小写转换检查拼写错误等操作，如果是中文日语语料库你需要增加分词处理。这个过程其他的答案已经梳理过了不再赘述。得到你想要的processed corpus之后，将他们的one-hot向量作为word2vec的输入，通过word2vec训练低维词向量（word embedding）
，Word2Vec包含了两种词训练模型：CBOW模型和Skip-gram模型。

CBOW模型根据中心词W(t)周围的词来预测中心词
在这里插入图片描述
假设我们现在的Corpus是这一个简单的只有四个单词的document： {I drink coffee everyday}
我们选coffee作为中心词，window size设为2
也就是说，我们要根据单词”I”,”drink”和”everyday”来预测一个单词，并且我们希望这个单词是coffee。
在这里插入图片描述

Skip-gram模型则根据中心词W(t)来预测周围词
Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。还是上面的例子，我们的上下文大小取值为2，特定的这个词"go"是我们的输入，而这4个上下文词是我们的输出。

这样我们这个Skip-Gram的例子里，我们的输入是特定词， 输出是softmax概率排前4的4个词，对应的Skip-Gram神经网络模型输入层有1个神经元，输出层有词汇表大小个神经元。隐藏层的神经元个数我们可以自己指定。通过DNN的反向传播算法，我们可以求出DNN模型的参数，同时得到所有的词对应的词向量。这样当我们有新的需求，要求出某1个词对应的最可能的4个上下文词时，我们可以通过一次DNN前向传播算法得到概率大小排前4的softmax概率对应的神经元所对应的词即可。

在这里插入图片描述

1.2 word2vec实践，用来表示文本。

import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')
import logging
import os.path
import sys
import multiprocessing

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

if __name__=="__main__":
	program=os.path.basename(sys.argv[0])
	logger=logging.getLogger(program)
	logging.basicConfig(format="%(asctime)s:%(levelname)s:%(message)s")
	logger.info("running %s "% " ".join(sys.argv))

	if len(sys.argv)<4:
		print(globals()['__doc__']%local())
		sys.exit()
	inp,outp1,outp2=sys.argv[1:4]

	model=Word2Vec(LineSentence(inp),size=400,window=5,min_count=5