稀疏自编码器符号一览表

最新推荐文章于 2023-11-16 15:16:20 发布

AI周红伟

最新推荐文章于 2023-11-16 15:16:20 发布

阅读量562

点赞数

分类专栏：大数据文章标签：深度学习

大数据专栏收录该内容

652 篇文章 8 订阅

订阅专栏

稀疏自编码器符号一览表

From Ufldl

Jump to: navigation, search

下面是我们在推导sparse autoencoder时使用的符号一览表：

符号	含义
$\textstyle x$	训练样本的输入特征， $\textstyle x \in \Re^{n}$ .
$\textstyle y$	输出值/目标值. 这里 $\textstyle y$ 可以是向量. 在autoencoder中， $\textstyle y=x$ .
$\textstyle (x^{(i)}, y^{(i)})$	第 $\textstyle i$ 个训练样本
$\textstyle h_{W,b}(x)$	输入为 $\textstyle x$ 时的假设输出，其中包含参数 $\textstyle W,b$ . 该输出应当与目标值 $\textstyle y$ 具有相同的维数.
$\textstyle W^{(l)}_{ij}$	连接第 $\textstyle l$ 层 $\textstyle j$ 单元和第 $\textstyle l+1$ 层 $\textstyle i$ 单元的参数.
$\textstyle b^{(l)}_{i}$	第 $\textstyle l+1$ 层 $\textstyle i$ 单元的偏置项. 也可以看作是连接第 $\textstyle l$ 层偏置单元和第 $\textstyle l+1$ 层 $\textstyle i$ 单元的参数.
$\textstyle \theta$	参数向量. 可以认为该向量是通过将参数 $\textstyle W,b$ 组合展开为一个长的列向量而得到.
$\textstyle a^{(l)}_i$	网络中第 $\textstyle l$ 层 $\textstyle i$ 单元的激活（输出）值. 另外，由于 $\textstyle L_1$ 层是输入层，所以 $\textstyle a^{(1)}_i = x_i$ .
$\textstyle f(\cdot)$	激活函数. 本文中我们使用 $\textstyle f(z) = \tanh(z)$ .
$\textstyle z^{(l)}_i$	第 $\textstyle l$ 层 $\textstyle i$ 单元所有输入的加权和. 因此有 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ .
$\textstyle \alpha$	学习率
$\textstyle s_l$	第 $\textstyle l$ 层的单元数目（不包含偏置单元）.
$\textstyle n_l$	网络中的层数. 通常 $\textstyle L_1$ 层是输入层， $\textstyle L_{n_l}$ 层是输出层.
$\textstyle \lambda$	权重衰减系数.
$\textstyle \hat{x}$	对于一个autoencoder，该符号表示其输出值；亦即输入值 $\textstyle x$ 的重构值. 与 $\textstyle h_{W,b}(x)$ 含义相同.
$\textstyle \rho$	稀疏值，可以用它指定我们所需的稀疏程度
$\textstyle \hat\rho_i$	（sparse autoencoder中）隐藏单元 $\textstyle i$ 的平均激活值.
$\textstyle \beta$	（sparse autoencoder目标函数中）稀疏值惩罚项的权重.

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
稀疏自编码器符号一览表

稀疏自编码器符号一览表From UfldlJump to: navigation, search下面是我们在推导sparse autoencoder时使用的符号一览表：符号含义训练样本的输入特征，.输出值/目标值. 这里可以是向量. 在autoencoder中，.第个训练样本
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。