one-hot表示和分布式表示

这是深度学习的一个基本概念,看到有一篇讲的不错的博文,大家可以看看,特此转载,链接如下:https://blog.csdn.net/mawenqi0729/article/details/80698780

除此之外,我在举一个简单的例子,让大家有一个直观的理解。 这也是目前我对one-hot编码及分布式表示的理解。

one-hot编码和分布式表示的直观理解:

one-hot编码
有5个样本分别是:

样本特征
sample1红色卡车
sample2红色汽车
sample3灰色卡车
sample4灰色汽车
sample5灰色卡车

我们可以知道,这个例子中共有4种不同的状态,即红色卡车、红色汽车、灰色卡车、灰色汽车,于是我们用4位来表示各个状态,依次为(0,0,0,1),(0,0,1,0),(0,1,0,0),(1,0,0,0)。
这就是one-hot编码,N个状态就用N位状态寄存器,并且在任意时候,其中只有一位有效。

分布式表示

那么分布式表示在上述例子中怎么做呢?
将颜色作为一个特征,用两位来表示红色:0,灰色:1;车类型用两位来表示汽车:0,卡车:1
这样一来4种状态只要两位来表示了,即红色卡车、红色汽车、灰色卡车、灰色汽车,依次为(0,1),(0,0),(1,1),(1,0)。也就是共享了一些参数。
————————————————————————————————————————————
通过上述例子应该就能很直观的理解one-hot编码和分布式表示啦。下面在放另一篇文章的一个不错的例子,供大家理解只用。

我们可以把左图看成是一般的聚类方式,右图看成是基于分布式表示的聚类方式。如左图所示,假设我们把整个的空间分成几个区域,那每一个区域可以由一组参数来描述(charaterize)。 比如在高斯混合模型(Gaussian Mixture Model)里,每一个混合模块(Mixture component)都由一组高斯分布的期望和协方差来(covariance)决定。相比之下,在右图中,每一个区域由三个子模块来表达。 这个时候我们只需要三组参数,而且每一个区域都会共享这三组参数,被称之为参数共享(parameter sharing)。 这个性质带来的一个重要的优点是 – 非局部泛化(non-localgeneralization). 我们需要知道机器学习的目的就是要在测试级上(test set)得到更好的泛化(bettergeneralization)效果 。 在左图中,我们只能得到局部泛化(local generalization), 即便这样,为了达到局部泛化的目的,我们需要对每个区域有足够多的例子(training examples)。除此之外,分布式表示可以有效地应对curse of dimensionality问题 。

在这里插入图片描述
——摘自:https://www.jiqizhixin.com/articles/2019-02-01-3

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值