机器学习5 -- 为什么深度学习需要加深？

已于 2023-02-02 15:07:20 修改 14058 收藏 14
分类专栏： 深度学习：搜索推荐、NLP、机器学习等 文章标签： 人工智能 神经网络 深度学习
于 2020-08-29 17:11:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/108296861
版权

在这里插入图片描述

1 加深和加宽的对比

1.1 网络加深，有助于提升模型性能

在这里插入图片描述
很早以前就有人研究过模型加深加宽的作用。由上图可见，随着模型越深，错误率逐步下降。这个其实很好理解，可能有人会问，模型加深带来了模型参数量的提升，有助于bias降低。通过增加训练数据和各种正则，可以降低variance。从而降低整体的误差。

1.2 加深和加宽的对比

那加深是不是仅仅就带来了模型复杂

了解本专栏 订阅专栏 解锁全文 超级会员免费看
谢杨易
关注
  • 8
    点赞
  • 踩
  • 14
    收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
机器学习和深度学习核心知识点总结
08-13
一年一度的校园招聘就要开始了，为了帮助同学们更好的准备面试，SIGAI 在今天的公众号文章中对机器学习、深度学习的核心知识点进行了总结。希望我们的文章能够帮助你顺利的通过技术面试，如果你对这些问题有什么疑问，可以关注我们的公众号，向公众号发消息，我们将会无偿为你解答。对于不想在近期内找工作的同学，阅读这篇文章，对加深和巩固机器学习和深度学习的知识也是非常有用的。
机器学习项目实战：深度自然语言处理
06-17
本课程通过一系列内容讲解和编码实战，按照由易到难，由浅入深的顺序展开，让学员在实践中，依次学习神经网络和深度学习，并且进行基于深度学习的自然语言处理技术编码实现，使得学员可以在编码中对机器学习有一个直观的认识和体验，在实践中完成理论联系实际的过程并加深对人工智能技术的理解与运用。 建议和《机器学习项目实战》搭配使用，效果更佳~
为什么加深神经网络如此有效？从卷积滤波器解释
liuz_notes的博客
11-27 1265
与没有加深层的网络相比，加深了层的网络可以用更少的参数达到同等水平（或者更强）的表现力。我们通过结合卷积运算中的滤波器大小来理解。
机器学习和深度学习之间的 5 个主要区别
simplilearnCN的博客
12-07 470
很多人可能没有意识到，作为人工智能的一种，机器学习早在20世纪50 年代就已经诞生了。亚瑟·塞缪尔 (Arthur Samuel) 于 1959 年编写了第一个计算机学习程序，IBM计算机使用这个编程下棋，玩得时间越久，它的下棋能力就越强。直到今日，人工智能已经不仅仅是一项尖端技术，它还可以带来令我们异常兴奋的高薪工作。机器学习工程师的需求量在不断扩大，正如MLE Tomasz Dudek所说，数据科学家和软件工程师都不具备机器学习领域所需的技能。公司迫切需要在这两个领域都精通但又可以做数据科学家和软件工程
神经网络加深和加宽的影响
weixin_41986795的博客
10-12 4341
前言 深度学习之所以被称为"深度"，是相对支持向量机(supportvector machine, SVM)、提升方法(boosting)、最大熵方法等"浅层学习"方法而言的，深度学习所学得的模型中，非线性操作的层级数更多。 浅层学习依靠人工经验抽取样本特征，网络模型学习后获得的是没有层次结构的单层特征；而深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。深度学习理论的另外一个理论动机是：如果一个函数...
神经网络学说的主要观点,对神经网络的简单理解
最新发布
shirley67269的博客
08-10 283
生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约1011个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。...
为什么使用深度神经网络？（Why use deep neural network?）
一只攻城狮的博客
12-11 1947
为什么使用深度神经网络？（Why use deep neural network?） 我们都知道深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？我们一起来看几个例子来帮助理解，为什么深度神经网络会很好用。 首先，深度网络在计算什么？   首先，深度网络究竟在计算什么？如果你在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你...
为什么是深度神经网络而不是宽度神经网络？增加神经网络的深度相比于增加宽度有哪些优点？
KeEN_Xwh的博客
01-31 3583
为什么是深度神经网络而不是宽度神经网络？增加神经网络的深度相比于增加宽度有哪些优点？ Bengio和LeCun等人的论文《Scaling learning algorithms towards AI》中提到，如果一个深层结构能够刚刚好解决问题，那么就不可能用一个更浅的同样紧凑的结构来解决，因此要解决复杂的问题，要么增加深度，要么增加宽度。但是神经网络一般来说不是越深越好，也不是越宽越好，并且由于计算量的限制或对于速度的需求，如何用更少的参数获得更好的准确率无疑是一个永恒的追求。而目前针对网络宽度的研究远远不
神经网络最大的优点，以及最严重的缺陷
CSDN人工智能头条
10-12 2万+
大家好，我是为人造的智能操碎了心的智能禅师。最近条子说他弄个了个新零售的神经网络。一般办公室里的半自动贩售便利柜，都是扫码以后，靠自觉取产品。条子是闭着眼睛，靠神经取产品...
为什么要有深度学习？系统学习清单
算法channel
12-15 741
请点击上面公众号，免费订阅。　《实例》阐述算法，通俗易懂，助您对算法的理解达到一个新高度。包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战。期待您的到来！01—回顾利用36天的时间，系统地梳理了机器学习（ML）的一些经典算法，从算法思想，到算法实例，有的包括源码实现，有的包括实战分析，大致分类如下：机器学习的概念总结1 机器学习：不得不知的概念（1）2 机器学
【深度学习基础-01】机器学习->引出深度学习
王博（Kings）的博客
01-09 1734
目录 机器学习的应用： 深度学习？ 深度学习什么时候发展起来的？ 深度学习能用来干什么？ 深度学习有哪些代表性的学术机构和公司？ 深度学习的应用？ 针对经验E(experience)和一系列的任务T（tasks）和一定表现的衡量P（performance），如果随着经验E的积累，针对定义好的任务T可以提高表现P，就说明计算机具有学习能力。 机器学习的应用： 语音识别 自动驾驶...
深度学习模型调优建议
archimekai的博客
11-04 889
深度学习模型调优建议 数据、算法、超参等领域的常用调优建议。 数据优化 data.01 确保各个分类中的样本数目相近 当数据集中各分类的样本数目不均衡时，需要进行调整以使每个分类对训练有程度相近的影响。可以考虑以下方法： 基于数据重采样的方法： 对样本数较少的类过采样 对样本数目较多的类欠采样 混用上面两种方案。 通过上述重采样，使得训练过程中每个类出现的样本数相对均衡。需要注意的是，过采样有过拟合的风险(Cao et al., 2019)。 基于代价的方法： loss函数不变，根据每个类中的样本数目
机器学习强基计划0-2：什么是机器学习？和AI有什么关系？
FRIGIDWINTER的博客
07-18 4644
用最通俗的例子和语言解释什么是机器学习，接着介绍机器学习和人工智能的关系，机器学习的用途以及学习路线
为什么深度学习在机器学习中如此火爆？深度学习还会迎来冬天吗？
人邮异步社区
04-24 1603
第二代终结者：收敛速度与泛化问题 神经网络从“飞龙在天”到“亢龙有悔”，也只花了几年时间，就又遇到了“第二代终结者”。有趣的是，第二代终结者的出现本身又是为了解决第一代终结者问题而导致的。 异或问题本质上是线性不可分问题。为了解决这个问题，在网络里引入非线性，以及将这些非线性函数组合的参数化学习方法（BP算法等）。但是这样复杂的高维非线性模型，在计算上遇到了很多挑战，基本上都是和链式求导的梯度...
深度学习入门：一句话告诉你什么是神经网络（CNN,RNN,DNN）
热门推荐
Machine Learning with Tutors
02-19 5万+
假设图3中m-1=1是输入层，我们需要识别一幅彩色图像，这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像），假设卷积核大小为100*100，共使用100个卷积核w1到w100（从直觉来看，每个卷积核应该学习到不同的结构特征）。不知题主是否发现，RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度！而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！
笔记 - 神经网络：为何需要深层网络
chen_holy的博客
05-25 1018
参考： 深层神经网络与浅层神经网络的区别 吴恩达深度学习笔记(24)-为什么要使用深度神经网络？
深度学习（tensorflow2）笔记
Kasumi_syuu
12-13 544
日月光华-tensorflow笔记 基础 逻辑回归与交叉熵 softmax分类 对数几率回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数。它是对数几率回归在N个可能不同的值上的推广。 神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？ ——这就是softmax层的作用 softmax...
[深度学习]暴走的残差深度学习网络家族！加深了网络还是隐式多网络叠加？
孙佰贵的专栏
06-17 2万+
在2015年残差网络Deep Residual Learning for Image Recognition出来之后，2016年出现了大批量的达到与之相应效果的加深网络的方法。加深网络会带来如下三大类问题：1. 后向传播梯度消失;2. 前向传播信息量减少;3. 训练时间加长。为了缓解以上三大类问题，2016上半年已经有各式各样的加深网络的方法，让我们来看下下面五篇文章，前四篇文章主要注重与如何去使用各种方法加深网络，最后一篇文章对最近出现的残差网络家族做了一个深入的分析与思考，指出残差与其说是加深网络不如说
深度学习——提高网络性能（一）
iversongzy的博客
09-22 2871
一、偏差/方差： 深度学习很少谈论偏差，方差权衡问题，一般都是分开讨论： high bias（underfitting）：在训练集上表现的不好 high variance（overfitting）：在测试集表现的不好 如下图所示,可以通过training error and dev error 来判断拟合程度： 二、机器学习基础： 在机器学习中通常会考虑方差、偏差均

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题：大白 设计师：CSDN官方博客 返回首页
评论 4

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值