one-hot
1.一个词汇表长度的向量
2.没个词的表示为【0,0,0,1,0,0,…,0】
特点(缺):默认了语义之间是无关的
分布式表示
1.对象表示为稠密、实值、低维向量
2.所有向量组成一个三维张量
3.通过向量在张量中的相对位置,体现词语之间的语义联系
特点(优):
1.解决了大数据环境中数据稀疏问题(用高频数据学习语义空间,从而利用该语义空间表达低维向量)
2.便于词、句子语义相似度计算
3.可以支持多任务学习(词性标注、命名实体识别等)
- word2vec
优势:1.不用考虑词之间的顺序;2.取消神经网络非线性层,更高效
3.利于发现词汇间隐藏关系4.对知识迁移的帮助(如将不同语言用分布式表示进行表示)
利用优点三发现词之间的上下位关系,启发了知识表示学习。
知识表示
和社交网络不同在于边上带有不同标签
连接预测常用来对表示学习的方法进行性能比较
transE
特点(和RESCAL\SME\SE等比较):学习参数少(高效);预测准确度高
知识表示应用
融合文本与知识进行关系抽取
1.1.利用CNN进行关系抽取(仅利用文本信息)
1.2.联合(通过表示学习)CNN和已有知识图谱进行分布式关系抽取(效果更好)
2.融合实体描述的表示学习
优点:新的实体只需要利用一小段的描述,和已有的kg进行关系预测加入进去
3,为kg的构建寻找最好的描述节点的句子等
利用关系路径进行关系抽取
1.PTransE
利用远程监督多实例进行关系抽取
推理:wanglichun等
开放关系抽取(open information extraction)[迭代抽取]