什么是 Embedding()

本文只是初步解释, 或者解释

Embedding(input_dim, 
               output_dim,  
               embeddings_initializer='uniform',  embeddings_regularizer=None, activity_regularizer=None, 		embeddings_constraint=None, mask_zero=False,   
               input_length=None)

中的 input_dim, output_dim, input_length.

令 S 为一集合 S, Embedding 为函数 $f:\text{S}\to {\mathbb{R}}^n$, n 为手选参数. 从 S 中放回抽取 m 次, 按抽取顺序排成一序列.可类比从词典中选词组成句子.

input_dim : 集合 S 的大小,
output_dim : n
input_length : m 的最大值.

假定 S : = { v 0 , v 1 , ⋯   , v 9 } \text{S}:=\{v_0,v_1,\cdots, v_9\} S:={ v0​,v1​,⋯,v9​}. 构作编号 $f_1(v_i)=i$.
选 n=4, m=2.

基本想法是 使用 one-hot 编码
$f_2(i)=[0,0,\cdots ,0,1,0,\cdots ,0]$
这两个函数是确定好的,不产生参数.
每次输入为两个 元素, 例如 ( v 1 v 2 ) → f 2 f 1 ( 1 , 0 , 0 , 0 , 0 , 0 ,