基于Theano的深度学习(Deep Learning)框架Keras学习随笔-17-Embedding Layers

最新推荐文章于 2024-09-25 11:03:45 发布

ACDance

最新推荐文章于 2024-09-25 11:03:45 发布

阅读量2.4w

点赞数 1

分类专栏： Keras随笔文章标签： keras keras教程 theano 深度学习 Embedding

本文链接：https://blog.csdn.net/niuwei22007/article/details/49406355

版权

本文介绍了Keras框架下用于自然语言处理的Embedding层和WordContextProduct层。Embedding层将词汇转换为固定维度的稠密向量，而WordContextProduct层则计算单词与上下文单词的内积，用于表示它们共现的概率。通过这两个层，可以训练词向量并进行NLP任务。

摘要由CSDN通过智能技术生成

本博客来自CSDN：http://blog.csdn.net/niuwei22007/article/details/49406355

本篇介绍的内容主要用于NLP(Nature Language Process, 自然语言处理)。Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NLP 领域中尚未见到如此激动人心的结果，但就目前而言，Deep Learning 在 NLP 领域中的研究已经将高深莫测的人类语言撕开了一层神秘的面纱。本篇内容主要就是用来做词向量的映射与训练。

一、Embedding

keras.layers.embeddings.Embedding(input_dim,output_dim, init='uniform', input_length=None, weights=None, W_regularizer=None, W_constraint=None, mask_zero=False)

将正整数转换为固定size的denses向量。比如[[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]]

input shape: 2维tensor，shape为(nb_samples,sequence_length)

output shape: 3维tensor，shape为(nb_samples,sequence_length, output_dim)。

参数：