C2W 词向量

1 目的和思想

c2w模型的目的：求出能表示出词与词之间的关系的词向量
c2w的整体思想：将单词的字符放在双向 LSTM 能够得到词向量
模型出自论文: Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation

2 模型原理

模型实现：

1. 将词放入词查找表，拿出该词的向量
2. 将词分为每个字符，放入字符查找表，拿出每个字符的向量
3. 分别放入 Bi-LSTM 中前向和后向
4. 前向和后向最后一个隐藏层的输出组合到一起得到单词cats的词向量
   

2.1 语言模型训练

c2w训练流程，得到向量，经过 softmax 预测单词

2.2 POS（词性标注任务）

主要是在输出向量，经过softmax得到词性

3 c2w 总结

在一般的词向量模型中，词是相互独立的，虽然可以学习到词与词之间的关系，比如原型，比较级，最高级，但是如果给定一个单词great，是不能推出来他的比较级是greater的（如果词表中没有greater这个词就会是一个UNK），就是没有推理能力
所以 C2W 模型能够很好地捕捉词之间的语法和语义相似度，并且在两个任务上取得最优的结果

3.1 c2w 优缺点

3.1.1 优点

1. 能够解决OOV词问题
2. 可以推出形式相近的词的信息
3. 可以得到字符间的结构信息

3.1.2 缺点

1. 训练时需要 LSTM 从向量生成词，速度比词向量机制要慢
2. 测试时虽然可以通过缓存的方法预先生成一些词向量，但是对于OOV词的词表示生成依旧速度慢

4 应用

主要用于需要字符信息的任务，如序列标注、NER（命名实体识别）、POS（词性标注）

1. 词性标注——这是什么类型的词？
2. 命名实体识别——这个词是否是专有名词