-深度学习–word embedding 很宝贵的资料。超清晰ppt资源下载地址,适合深入学习机器学习和深度学习的人群。资源绝对宝贵,初学者请慎重下载。
下载地址:http://download.csdn.net/download/huangyueranbbc/9882823?utm_source=blogseo
One-hot Embedding
假设一共有m个物体,每个物体有自己唯一的id,那么从物体的集合到\mathbb R^m有一个trivial的嵌入,就是把它映射到\mathbb R^m中的标准基,这种嵌入叫做One-hot embedding/encoding.
应用中一般将物体嵌入到一个低维空间\mathbb R^n(n \ll m) ,只需要再compose上一个从\mathbb R^m到\mathbb R^n的线性映射就好了。每一个n\times m 的矩阵M都定义了\mathbb R^m到\mathbb R^n的一个线性映射: x \mapsto Mx。当x 是一个标准基向量的时候,Mx对应矩阵M中的一列,这就是对应id的向量表示。