CS224N 笔记一

1.环境配置

尝试使用

pip install gensim==3.8.3 -i http://pypi.mirror.ustc.edu.cn/simple/

进行处理,结果报错

于是不进行加速，就可以运行

pip install gensim==3.8.3

2.数据转换（将单词转换为向量）

2.1 One hot编码

本质是创建一个足够长的数组使其包含所有单词，且每一个单词都有他自己的位置，当出现这个单词时将这个单词置1，其余置0。
问题： 每个单词之间彼此信息无关，且训练时需要每个都照顾到。

2.2 word embedding

通过判断向量之间的相似度来度量词之间的语意相关性。其基于的分布式假设是出现在上下文下的词意思应该相近。

3.Seq2Seq结构模型（序列到序列模型）

Seq2Seq模型：
输入：一个序列（单词，字母，图片特征）。
模型：	1.Ecoder编码器：处理输入序列中的元素将其转化为一个向量（Context）。
		2.Context上下文：一个向量或数组，编码矢量是从模型的编码部分产生的最终隐藏状态。
						该向量旨在封装所有输入元素的信息，以帮助解码器进行准确的预测。
		3.Decoder解码器：生成输出序列中的元素。
输出：一个序列（要求的序列）。