深度学习基础（七）Self-Taught Learning to Deep Networks

最新推荐文章于 2023-01-30 18:59:30 发布
最新推荐文章于 2023-01-30 18:59:30 发布
阅读量753 收藏 1
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luxialan/article/details/44497669
版权

有了自学算法去提取特征，我们可以进一步扩展模型


这个模型是在特征模型的基础上多了一步分类器，这个分类器的引入使得我们可以进一步调整参数。

微调（fine-tune）指的的是通过输入有标记的\textstyle \{ (x_l^{(1)}, y^{(1)}),(x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)}, y^{(m_l)}) \}

再通过牛顿下降法来调整参数从而减小训练误差

什么时候可以使用微调呢？当然是有大量的有标记样本啦。

上面这个模型试简单的三层神经网络

因为每一个隐层代表了对前一层的一次非线性变换，简单的三层模型最后输出的激活函数只与前一层相关，也就只经过了一层的非线性变换，如果能够增加隐层，就能够学习更加复杂的的关系，这也是为什么不用线性变换的原因，线性变换再经过线性变换还是线性的。

深层网络由如下好处：

1.由于隐层增加了，它可以学习更加复杂的函数。具体来说，一个k-1层的网络要想学习到和k层网络一样复杂的模型，得增加指数大小的隐层。

2.越深层，最后学到的特征越抽象

3.神经元计算也是多层的，这是深层神经网络的生物基础

神经网络的缺陷：

1.标记数据的难以获取

2.局部最优问题，浅层的神经网络容易收敛&#

最低0.47元/天 解锁文章
luxialan
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
UFLDL教程答案(5):Exercise:Self-Taught Learning
JiangV的博客
12-19 2232
matlab 实现无监督训练自编码，再加上softmax对mnist手写数字分类。
特征学习 (Self_taught Learning)
whiteinblue的专栏
03-20 6010
简介           如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据。”      在自学习和无监督特征学习问题上，可以给算法以大量的未标注数据，学习出较好的特征描述。在尝试解决一个具体的分类问题时，可以基于这些学习出的特征描述和任意的（可能比较少的）已标注数据，使
UFLDL：Self-Taught Learning
11-07
实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning  。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤，最后实验显示，加上自学习特征之后模型的正确率更高。 --------------------- 作者：Danieljf24 来源：CSDN 原文：https://blog.csdn.net/danieljianfeng/article/details/41913521 版权声明：本文为博主原创文章，转载请附上博文链接！
深度学习基础（七）Self-Taught Learning to Deep Networks 分类...
dengxundong1074的博客
03-20 222
有了自学算法去提取特征，我们可以进一步扩展模型 这个模型是在特征模型的基础上多了一步分类器，这个分类器的引入使得我们可以进一步调整参数。 微调（fine-tune）指的的是通过输入有标记的 再通过牛顿下降法来调整参数从而减小训练误差 什么时候可以使用微调呢？当然是有大量的有标记样本啦。 上面这个模型试简单的三层神经网络 因为每一个隐层代表了对前一层的一次非线性...
[CVPR2017] Deep Self-Taught Learning for Weakly Supervised Object Localization 论文笔记
A13120295的博客
05-15 287
http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao W...
Deeplearning学习之路_第四章（Self-Taught learning&deep networks）
zCGr_GzGy的专栏
10-05 1772
一些笔记：
[论文研读]Deep Self-Taught Learning for Handwritten Character Recognition(数据增强-5种仿射变换和9种噪声)
东皇太一在此的博客
01-26 414
利用5种仿射变换和9种噪声来增强数据。附有源代码。 Transformer:Thickness,Slant,AffineTransformations,Local ElasticDeformations,Pinch;Noise:MotionBlur,Occlusion,GaussianSmoothing,PermutePixels,GaussianNoise,BackgroundImageAddition,Salt_andPepperNoise,Scratches,GreyLevelandCont;
目标定位--Deep Self-Taught Learning for Weakly Supervised Object Localization
AI小作坊 的博客
04-25 4771
Deep Self-Taught Learning for Weakly Supervised Object Localization CVPR 2017https://arxiv.org/abs/1704.05188什么是 Weakly Supervised Object Localization，refers to learning to localize objects within ima
Self learning network分析
b0207191的博客
05-31 324
  Self learning network分析 基于主机的异常检测：上百维特征分解，发现主机特征不匹配其所在群组的共性特征（主机流量小，邻居少，服务器流量大，邻居多），则视为异常（使用聚类算法对主机类型分类？思科看起来是手动分类，但也可能是根据流量相似性来聚类，如）监控是否违例，比如两个区域之间是否实际有流量，违反了公司政策其他可疑行为：大量使用ssl通讯的用户；外网访问内部22和23端口用户...
Self-Taught Learning
freeliao的专栏 在路上奔跑。。。
02-19 3585
自编码器是一个三层的feed-forward神经网络模型，输入层经过隐含层的特征表示后再重构出跟输入层逼近的输出层，中间的隐含层是特征表示层，表示对输入层学习到的特征，这些特征可能更好地表示了数据，如果用学到的特征来训练数据分类或回归可能学习效果更好，于是就有了自我学习和无监督特征学习。     如果我们有很多的未标注数据，那就更好了，我们可以用自编码器学习特征表示，然后用学到的特征表示
Self-taught Learning: Transfer Learning from Unlabeled Data
06-12
Self-taught Learning: Transfer Learning from Unlabeled Data
Self-taught Learning Transfer Learning from Unlabeled Data
10-19
迁移学习领域中的经典论文 自监督学习在无标签数据中的应用
Transfer Learning (迁移学习)
连理o的博客
09-21 447
本文为李宏毅 2021 ML 课程的笔记 目录Transfer LearningTransfer Learning - Overviewlabled →\rightarrow→ labledModel Fine-tuningConservative TrainingLayer TransferMultitask Learninglabled →\rightarrow→ unlabledDomain-adversarial trainingZero-shot learning Transfer Learn.
自我学习（Self-Taught Learning）
程引的专栏
08-13 7980
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。 稀疏编码器是用来无监督学习的，使用无标签数据。 Softmax回归分类器是有监督学习，使用标签数据。   实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片） 难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）   如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我
深度学习-自学习（self taught learning）
热门推荐
BUB1997的博客
06-25 2万+
自学习与半监督学习：两者都是有少量的标注数据和大量的未标注数据的情况。两者的不同在于半监督学习要求标注数据和未标注数据有同样的分布，而自学习没有这种要求，因此具有更广泛的应用。 自学习包括两个部分，第一个是用无标签的样本集训练稀疏自编码器，第二个是用有标签的训练样本集训练softmax分类器。 具体过程如下： 第一步，设置神经网络的结构； 第二步，利用无标签数据集训练稀疏自编码器； 第三...
迁移学习(Transfer Learning)概述及代码实现(full version)
黄波波的博客
04-21 1万+
基于PaddlePaddle的李宏毅机器学习——迁移学习 大噶好，我是黄波波，一名入门不久自学AI的AI Trainer,宝可梦训练师（纯属业余）。希望能和大家共进步，错误之处恳请指出！ 百度AI Studio个人主页, 我在AI Studio上获得白银等级，点亮2个徽章，来互关呀~ 本项目是在飞桨深度学习学院提供的李宏毅-机器学习特训营课程。 Abstract 本文共分为两大部分：第一部分介绍迁移学习的主要概念以及类型，第二部分是实现迁移学习布置的作业——领域对抗性训练(Domain Advers
【深度学习】自监督学习详解（self-supervised learning）
最新发布
Danger的博客
01-30 1万+
详解！自监督学习：对比学习和生成学习。
迁移学习
peghoty
11-04 3807
作者： 薛贵荣        在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上学习一个分类模型，然后利用这个学习到的模型对测试文档进行分类与预测。然而，机器学习算法在当前互联网应用研究中存在一个关键问题，即一些新出现的领域中大量训练数据非常稀缺。随着互联网的高速发展，Web 应用领域的发展非常快速，大量新的领域不断涌现，从传统的新闻，到网页，到图片，再到博客、播客等。首
深度学习基础（六）Self-Taught Learning 分类： 深度学习...
dengxundong1074的博客
03-20 440
要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。 有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。 我们先来介绍一下特征学习： 我们之前讲过自编码器，输入时有标签的数据...
"BJTU北京交通大学深度学习期末试题及答案总结
Master of Deep Learning Final Exam Questions, taught by the Deep Learning Course Group, Class: Name: Student ID: Instructor: Note: 1. This paper consists entirely of multiple choice questions, with a...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值