学习稀疏编码-day1

最新推荐文章于 2022-05-25 15:28:30 发布

Lynne-huang

最新推荐文章于 2022-05-25 15:28:30 发布

阅读量864

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/smilebluesky/article/details/39996629

版权

机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1.稀疏编码（稀疏表示）基本概念

稀疏编码是一种无监督的学习。
目标：找到一组基向量 $\mathbf{\phi}_i$ ，使得输入的向量X (x是n维的)能够用 $\mathbf{\phi}_i$ 来表示。
$\begin{align}\mathbf{x} = \sum_{i=1}^k a_i \mathbf{\phi}_{i} \end{align}$

虽然PCA已经能够找出一组基向量，但是稀疏编码找的是一种超完备的基向量（K〉n）,由而造成ai的值是不唯一确定的。所以需要另外加评价标准“稀疏性”，来解决因为超完备而退化。

这里的稀疏性针对的是系数ai是要稀疏的，只有很少的非0元素或者很少的远大于0的元素

我们把有 $m$ 个输入向量的稀疏编码代价函数定义为：

$\begin{align}\text{minimize}_{a^{(j)}_i,\mathbf{\phi}_{i}} \sum_{j=1}^{m} \left|\left| \mathbf{x}^{(j)} - \sum_{i=1}^k a^{(j)}_i \mathbf{\phi}_{i}\right|\right|^{2} + \lambda \sum_{i=1}^{k}S(a^{(j)}_i)\end{align}$

此处 $S (.)$ 是一个稀疏代价函数，由它来对远大于零的 $a i$ 进行“惩罚”。我们可以把稀疏编码目标函式的第一项解释为一个重构项，这一项迫使稀疏编码算法能为输入向量 $\mathbf{x}$ 提供一个高拟合度的线性表达式，而公式第二项即“稀疏惩罚”项，它使 $\mathbf{x}$ 的表达式变得“稀疏”。常量 $λ$ 是一个变换量，由它来控制这两项式子的相对重要性。

使用稀疏编码算法学习基向量集的方法，是由两个独立的优化过程组合起来的。第一个是逐个使用训练样本 $\mathbf{x}$ 来优化系数 $a i$ ，第二个是一次性处理多个样本对基向量 $\mathbf{\phi}$ 进行优化。

稀疏编码是有一个明显的局限性的，这就是即使已经学习得到一组基向量，如果为了对新的数据样本进行“编码”，我们必须再次执行优化过程来得到所需的系数。这个显著的“实时”消耗意味着，即使是在测试中,实现稀疏编码也需要高昂的计算成本，尤其是与典型的前馈结构算法相比。

2.基于稀疏的识别（SRC）

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
学习稀疏编码-day1

稀疏编码是一种无监督的学习
复制链接

扫一扫

专栏目录

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。