深度学习基础（六）Self-Taught Learning

最新推荐文章于 2019-08-13 12:26:58 发布
最新推荐文章于 2019-08-13 12:26:58 发布
阅读量1.2k 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luxialan/article/details/44491951
版权

要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。

有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。


我们先来介绍一下特征学习：

我们之前讲过自编码器，输入时有标签的数据集  \textstyle \{ x_u^{(1)}, x_u^{(2)}, \ldots, x_u^{(m_u)}\}

STL SparseAE.png

对于训练好的参数：\textstyle W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)} ，给定任意输入，我们可以得到隐层的a。

我们去掉稀疏自编码器的最后一层，就得到如下模型

STL SparseAE Features.png

对于每一个输入值\textstyle x_l^{(1)}，我们可以得到对应的激活函数\textstyle a_l^{(1)},即如下：

\textstyle (x_l^{(1)}, a_l^{(1)})

我们的输入可以替换为

最低0.47元/天 解锁文章
luxialan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
特征学习 (Self_taught Learning)
whiteinblue的专栏
03-20 6010
简介           如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据。”      在自学习和无监督特征学习问题上，可以给算法以大量的未标注数据，学习出较好的特征描述。在尝试解决一个具体的分类问题时，可以基于这些学习出的特征描述和任意的（可能比较少的）已标注数据，使
自我学习（Self-Taught Learning）
程引的专栏
08-13 7980
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。 稀疏编码器是用来无监督学习的，使用无标签数据。 Softmax回归分类器是有监督学习，使用标签数据。   实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片） 难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）   如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我
深度学习基础（六）Self-Taught Learning 分类： 深度学习...
dengxundong1074的博客
03-20 440
要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。 有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。 我们先来介绍一下特征学习： 我们之前讲过自编码器，输入时有标签的数据...
一个Self Taught Learning的简单例子
weixin_34283445的博客
11-06 90
idea: Concretely, for each example in the the labeled training datasetxl, we forward propagate the example through a convolutional and a pooling layer to obtain the activation of the hidden unitsa(...
Self-Taught Learning
freeliao的专栏 在路上奔跑。。。
02-19 3585
自编码器是一个三层的feed-forward神经网络模型，输入层经过隐含层的特征表示后再重构出跟输入层逼近的输出层，中间的隐含层是特征表示层，表示对输入层学习到的特征，这些特征可能更好地表示了数据，如果用学到的特征来训练数据分类或回归可能学习效果更好，于是就有了自我学习和无监督特征学习。     如果我们有很多的未标注数据，那就更好了，我们可以用自编码器学习特征表示，然后用学到的特征表示
Deep learning：十五(Self-Taught Learning练习)
weixin_34127717的博客
03-24 143
  　　前言： 　　本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里分别是用的sparse...
Self-taught Learning: Transfer Learning from Unlabeled Data
06-12
Self-taught Learning: Transfer Learning from Unlabeled Data
Self-taught Learning Transfer Learning from Unlabeled Data
10-19
迁移学习领域中的经典论文 自监督学习在无标签数据中的应用
UFLDL新版教程与编程练习（十一）：Self Taught Learning（自我学习）
laizi_laizi的博客
08-13 465
UFLDL是吴恩达团队编写的较早的一门深度学习入门，里面理论加上练习的节奏非常好，每次都想快点看完理论去动手编写练习，因为他帮你打好了整个代码框架，也有详细的注释，所以我们只要实现一点核心的代码编写工作就行了，上手快！ 我这里找不到新版对应这块的中文翻译了，-_-，这是最后一个练习了，之后就可以学cs231n了，得加快啊！ 第十一节是：Self Taught Learning（自我学习） feed...
深度学习-自学习（self taught learning）
BUB1997的博客
06-25 2万+
自学习与半监督学习：两者都是有少量的标注数据和大量的未标注数据的情况。两者的不同在于半监督学习要求标注数据和未标注数据有同样的分布，而自学习没有这种要求，因此具有更广泛的应用。 自学习包括两个部分，第一个是用无标签的样本集训练稀疏自编码器，第二个是用有标签的训练样本集训练softmax分类器。 具体过程如下： 第一步，设置神经网络的结构； 第二步，利用无标签数据集训练稀疏自编码器； 第三...
UFLDL：Self-Taught Learning
11-07
实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning  。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤，最后实验显示，加上自学习特征之后模型的正确率更高。 --------------------- 作者：Danieljf24 来源：CSDN 原文：https://blog.csdn.net/danieljianfeng/article/details/41913521 版权声明：本文为博主原创文章，转载请附上博文链接！
UFLDL教程练习题答案——self-taught learning
03-12
UFLDL教程练习题答案——self-taught learning，里面的代码都是最优的，可以替换之前资源里面的代码
UFLDL教程答案(5):Exercise:Self-Taught Learning
JiangV的博客
12-19 2232
matlab 实现无监督训练自编码，再加上softmax对mnist手写数字分类。
UFLDL学习笔记4（Self-Taught Learning and Unsupervised Feature Learning）
richard2357的专栏
01-13 2871
最近在学习UFLDL Tutorial，这是一套关于无监督学习的教程。在此感觉Andrew Ng做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。 Self-Taught Learning and Unsupervised Feature Learning练习 这一章实际上是把Sparse Autoencoder和Softmax R
泛读论文：Self-taught Learning: Transfer Learning from Unlabeled Data
汪汪汪的博客
03-19 2696
Self-taught Learning: Transfer Learning from Unlabeled Data ICML2007 问题 Semi-supervised learning typically makes the additional assumption that the unlabeled data can be labeled with the same labe...
深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning
yuanchheneducn的博客
06-14 769
这个主题我很喜欢，嘿嘿~ 1. 无监督特征学习 用稀疏自编码器从大量无标注数据中学习好的特征描述。 2. 数据预处理 无监督特征学习前，要对数据进行预处理。 如均值标准化，PCA，PCA白化，ZCA白化。但是需要记录下训练时的参数，即均值和U，在后面训练时要使用相同的参数。 3. 无监督特征学习的术语 自学习：不要求无标注数据和已标注的数据来自相同的分布。
Exercise:Self-Taught Learning 代码示例
accomolate的专栏
12-23 615
练习参考Self-Taught Learning 结合使用稀疏自编码器和Softmax分类器对0到4的手写数字进行分类。首先利用稀疏自编码器无监督学习手写数字5到9的特征。利用学到的权重和偏置计算手写数字0到4的激活值，并将激活值作为Softmax分类器的输入进行分类（有监督学习）。 Train the sparse autoencoder opttheta = th
迁移学习
peghoty
11-04 3807
作者： 薛贵荣        在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上学习一个分类模型，然后利用这个学习到的模型对测试文档进行分类与预测。然而，机器学习算法在当前互联网应用研究中存在一个关键问题，即一些新出现的领域中大量训练数据非常稀缺。随着互联网的高速发展，Web 应用领域的发展非常快速，大量新的领域不断涌现，从传统的新闻，到网页，到图片，再到博客、播客等。首
深度学习入门 --- 自我学习与半监督学习
热门推荐
jiede1的博客
08-06 2万+
该章节参考ufldl 1.什么是自我学习（Self-Taught Learning）与半监督学习首先，什么是半监督学习？当你手头上拥有在大量未标注数据和少量的已标注数据，那这种场景就可以说是半监督学习。自我学习和半监督学习的场景一样，不过有个细节不一样。自学习(self-taught learning) 是更为一般的、更强大的学习方式，它不要求未标注数据 和已标注数据有同样的分布。而半监督学习不一样
"BJTU北京交通大学深度学习期末试题及答案总结
Master of Deep Learning Final Exam Questions, taught by the Deep Learning Course Group, Class: Name: Student ID: Instructor: Note: 1. This paper consists entirely of multiple choice questions, with a...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值