理论基础
Breau
这个作者很懒,什么都没留下…
展开
-
【李宏毅2017机器学习】Why deep?
为什么同样多参数的情况下,网络变深比变宽效果更好?模组化如下图,一个复杂的分类可以分解为多个简单的分类:原创 2020-08-04 18:14:44 · 321 阅读 · 1 评论 -
【李宏毅机器学习2017】CNN
设计CNN的三个理由很多时候目标只是图像的一小部分,如果能只connect一部分的话,可以减少参数;(卷积)要识别的目标在不同样本中的位置不同,但特征的是相似的,因此只需要一组参数就可以找到,减少参数;(卷积)降采样不会改变图像的样子,因此用cnn可以通过降采样让图片变得更小,减少参数。(池化)网络卷积操作(暂不赘述)卷积网络vs全连接网络卷积网络可以看作是全连接网络的简化版本。1、如下图,左边的卷积操作相当于全连接里面只连接了1,2,3,7,8,9,13,14,15这几个神经元—原创 2020-07-26 14:05:52 · 265 阅读 · 0 评论 -
【李宏毅机器学习2017】tips for training DNN
本次课程的目录:激活函数使用sighmoid函数容易造成梯度消失的原因是:DNN中,越靠近输出层的权重的梯度越大,因此,能更快地学习到位;而越靠近输入的权重梯度越小,几乎都是随机的。sigmoid函数所表示的映射关系,决定了w造成的变化在逐层传递的过程中会逐级减弱。ReLUrelu会使得计算过程中一部分神经元的输出变为0(相当于剔除),而另一部分神经元则变成线性神经元。这样,总体的网络还是非线性的。Relu的变体:Maxout学习激活函数。(Relu是maxout的一个特例)此种原创 2020-07-24 15:15:23 · 194 阅读 · 0 评论