深度学习基础（六）Self-Taught Learning

最新推荐文章于 2019-08-13 12:26:58 发布
最新推荐文章于 2019-08-13 12:26:58 发布
阅读量1.2k 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luxialan/article/details/44491951
版权
本文介绍了在深度学习中，如何利用无标签数据进行学习。自学习算法假设无标签数据与有标签数据分布不同，而无监督学习则认为两者分布相同。通过自编码器进行特征学习，去除最后一层后，输入数据经激活函数转化为特征表示，有效减少存储和计算需求。文章鼓励读者通过实践来加深理解。
摘要由CSDN通过智能技术生成

要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。

有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。


我们先来介绍一下特征学习：

我们之前讲过自编码器，输入时有标签的数据集  \textstyle \{ x_u^{(1)}, x_u^{(2)}, \ldots, x_u^{(m_u)}\}

STL SparseAE.png

对于训练好的参数：\textstyle W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)} ，给定任意输入，我们可以得到隐层的a。

我们去掉稀疏自编码器的最后一层，就得到如下模型

STL SparseAE Features.png

对于每一个输入值\textstyle x_l^{(1)}，我们可以得到对应的激活函数\textstyle a_l^{(1)},即如下：

\textstyle (x_l^{(1)}, a_l^{(1)})

我们的输入可以替换为

最低0.47元/天 解锁文章
luxialan
关注
专栏目录
特征学习 (Self_taught Learning)
whiteinblue的专栏
03-20 6023
简介           如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据。”      在自学习和无监督特征学习问题上，可以给算法以大量的未标注数据，学习出较好的特征描述。在尝试解决一个具体的分类问题时，可以基于这些学习出的特征描述和任意的（可能比较少的）已标注数据，使
深度学习基础（六）Self-Taught Learning 分类： 深度学习...
dengxundong1074的博客
03-20 449
要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。 有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。 我们先来介绍一下特征学习： 我们之前讲过自编码器，输入时有标签的数据...
一个Self Taught Learning的简单例子
weixin_34283445的博客
11-06 97
idea: Concretely, for each example in the the labeled training datasetxl, we forward propagate the example through a convolutional and a pooling layer to obtain the activation of the hidden unitsa(...
Self-Taught Learning
freeliao的专栏 在路上奔跑。。。
02-19 3621
自编码器是一个三层的feed-forward神经网络模型，输入层经过隐含层的特征表示后再重构出跟输入层逼近的输出层，中间的隐含层是特征表示层，表示对输入层学习到的特征，这些特征可能更好地表示了数据，如果用学到的特征来训练数据分类或回归可能学习效果更好，于是就有了自我学习和无监督特征学习。     如果我们有很多的未标注数据，那就更好了，我们可以用自编码器学习特征表示，然后用学到的特征表示
Deep learning：十五(Self-Taught Learning练习)
weixin_34127717的博客
03-24 149
  　　前言： 　　本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里分别是用的sparse...
Self_Taught_Learning.rar_MATLAB深度学习_deep learning_self-learning_
最新发布
09-23
本压缩包"Self_Taught_Learning.rar"提供的内容正是围绕MATLAB中的深度学习和自我学习（self-learning）展开，旨在帮助自学者理解和实践这一技术。 首先，MATLAB深度学习工具箱提供了丰富的函数和类，用于构建各种...
UFLDL self-taught 自我学习编程答案
06-29
这个教程涵盖了一系列的编程作业，涵盖了从基础的神经网络到高级的深度学习模型。 【描述】"UFLDL self-taught 自我学习编程答案"意味着这个压缩包可能包含了完成UFLDL教程所有练习的解答，包括代码实现、结果分析...
自我学习（Self-Taught Learning）
程引的专栏
08-13 8008
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。 稀疏编码器是用来无监督学习的，使用无标签数据。 Softmax回归分类器是有监督学习，使用标签数据。   实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片） 难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）   如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我
fast_self taught learning.zip_self_transfer-learning_人工智能_算法；_迁移
09-21
例如，一个在大规模图像分类任务上预训练的深度学习模型，可以被“转移”到较小规模的类似任务，如识别特定种类的花朵，而无需从头开始训练。这样可以大大减少新任务所需的标注数据量，同时提高模型的性能。"self_...
Self-taught Learning: Transfer Learning from Unlabeled Data
06-12
Self-taught Learning: Transfer Learning from Unlabeled Data
UFLDL：Self-Taught Learning
11-07
实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning  。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤，最后实验显示，加上自学习特征之后模型的正确率更高。 --------------------- 作者：Danieljf24 来源：CSDN 原文：https://blog.csdn.net/danieljianfeng/article/details/41913521 版权声明：本文为博主原创文章，转载请附上博文链接！
UFLDL教程练习题答案——self-taught learning
03-12
UFLDL教程练习题答案——self-taught learning，里面的代码都是最优的，可以替换之前资源里面的代码
UFLDL新版教程与编程练习（十一）：Self Taught Learning（自我学习）
laizi_laizi的博客
08-13 477
UFLDL是吴恩达团队编写的较早的一门深度学习入门，里面理论加上练习的节奏非常好，每次都想快点看完理论去动手编写练习，因为他帮你打好了整个代码框架，也有详细的注释，所以我们只要实现一点核心的代码编写工作就行了，上手快！ 我这里找不到新版对应这块的中文翻译了，-_-，这是最后一个练习了，之后就可以学cs231n了，得加快啊！ 第十一节是：Self Taught Learning（自我学习） feed...
深度学习-自学习（self taught learning）
热门推荐
BUB1997的博客
06-25 2万+
自学习与半监督学习：两者都是有少量的标注数据和大量的未标注数据的情况。两者的不同在于半监督学习要求标注数据和未标注数据有同样的分布，而自学习没有这种要求，因此具有更广泛的应用。 自学习包括两个部分，第一个是用无标签的样本集训练稀疏自编码器，第二个是用有标签的训练样本集训练softmax分类器。 具体过程如下： 第一步，设置神经网络的结构； 第二步，利用无标签数据集训练稀疏自编码器； 第三...
UFLDL教程答案(5):Exercise:Self-Taught Learning
JiangV的博客
12-19 2237
matlab 实现无监督训练自编码，再加上softmax对mnist手写数字分类。
UFLDL学习笔记4（Self-Taught Learning and Unsupervised Feature Learning）
richard2357的专栏
01-13 2902
最近在学习UFLDL Tutorial，这是一套关于无监督学习的教程。在此感觉Andrew Ng做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。 Self-Taught Learning and Unsupervised Feature Learning练习 这一章实际上是把Sparse Autoencoder和Softmax R
【Deep Learning】4、Self-Taught Learning
极度视界
08-09 1831
Self-Taught Learning
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值