1 目的和思想
c2w模型的目的:求出能表示出词与词之间的关系的词向量
c2w的整体思想:将单词的字符放在双向 LSTM 能够得到词向量
模型出自论文: Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation
2 模型原理
模型实现:
- 将词放入词查找表,拿出该词的向量
- 将词分为每个字符,放入字符查找表,拿出每个字符的向量
- 分别放入 Bi-LSTM 中前向和后向
- 前向和后向最后一个隐藏层的输出组合到一起得到单词cats的词向量
2.1 语言模型训练
c2w训练流程,得到向量,经过 softmax 预测单词
2.2 POS(词性标注任务)
主要是在输出向量,经过softmax得到词性
3 c2w 总结
在一般的词向量模型中,词是相互独立的,虽然可以学习到词与词之间的关系,比如原型,比较级,最高级,但是如果给定一个单词great,是不能推出来他的比较级是greater的(如果词表中没有greater这个词就会是一个UNK),就是没有推理能力
所以 C2W 模型能够很好地捕捉词之间的语法和语义相似度,并且在两个任务上取得最优的结果
3.1 c2w 优缺点
3.1.1 优点
- 能够解决OOV词问题
- 可以推出形式相近的词的信息
- 可以得到字符间的结构信息
3.1.2 缺点
- 训练时需要 LSTM 从向量生成词,速度比词向量机制要慢
- 测试时虽然可以通过缓存的方法预先生成一些词向量,但是对于OOV词的词表示生成依旧速度慢
4 应用
主要用于需要字符信息的任务,如序列标注、NER(命名实体识别)、POS(词性标注)
- 词性标注——这是什么类型的词?
- 命名实体识别——这个词是否是专有名词