![](https://img-blog.csdnimg.cn/86553cb455dc46bbb8fc25bee19ea033.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 84
深度学习相关基础知识
于追梦丶
这个作者很懒,什么都没留下…
展开
-
深度学习--优化器
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言1 随机梯度下降法2 Momentum3 AdaGrad4 RMSProp5 Adam前言优化器是引导神经网络更新参数的工具,深度学习在计算出损失函数之后,需要利用优化器来进行反向传播,完成网络参数的更新。在这个过程中,便会使用到优化器,优化器可以利用计算机数值计算的方法来获取损失函数最小的网络参数。在深度学习中,不同的优化器只是定义了不同的一阶动量和二阶动量,一阶动量是与梯度相关的函数,二阶动量是与梯度平方相.原创 2022-05-14 19:26:49 · 6023 阅读 · 0 评论 -
深度学习--激活函数
文章目录前言一、为什么要用激活函数?二、激活函数的种类1.Relu函数2.Leaky_Relu函数3.sigmoid函数4.tanh函数前言深度学习模型中网络层中经常会用的激活函数,是神经网络不可或缺的一部分。激活函数会影响输入节点的输出,激活函数的选择是非常重要的,极大的影响模型训练的好坏。一、为什么要用激活函数?神经网络的激活函数的主要作用就是将线性函数转换成非线性函数。神经网络都是由一系列的y=wx+b组成,y=wx+b是线性函数,不管采用多少个隐藏层其组合也都是线性函数,不能解决非线原创 2021-03-13 21:45:22 · 1064 阅读 · 0 评论 -
深度学习--损失函数
文章目录前言一、均方误差(mean squared error, MSE)二、平均绝对误差(mean Absolute error, MAE)三、交叉熵损失(Cross Entropy Loss)总结前言深度学习需要正向传播跟反向传播,为了更新参数w和b,我们需要设置一个损失函数loss function,通过损失函数来进行反向传播。损失函数 (Loss Function) 也可称为代价函数 (Cost Function)或误差函数(Error Function),损失函数就是用来表示神经网络的.原创 2021-07-28 17:07:28 · 1168 阅读 · 0 评论 -
深度学习--Batch Normalization
文章目录前言一、为什么要用BN?二、BN的本质及基本思想三、BN的具体流程四、BN的优点前言机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。BN层的主要作用就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布,加速网络的收敛速度。一、为什么要用BN?神经网络学习过程的本质是为了学习数据的特征分布,如果没有做归一化处理,那么每一批次训练数据的分布是不一样的。当训练数..原创 2021-07-27 17:12:01 · 374 阅读 · 0 评论 -
深度学习--池化
文章目录前言一、最大池化二、平均池化池化的作用前言池化层是卷积神经网络中常用的一个组件,池化层经常用在卷积层后边,通过池化来降低卷积层输出的特征向量,避免出现过拟合的情况。池化的基本思想就是对不同位置的特征进行聚合统计。池化层主要是模仿人的视觉系统对数据进行降维,用更高层次的特征表示图像。池化层一般没有参数,所以反向传播的时候,只需对输入参数求导,不需要进行权值更新。比较常用的池化层主要有最大池化与平均池化。一、最大池化最大池化就是选取图像区域中的最大值作为该区域池化后的值。在前向传播过程中,原创 2021-07-28 17:12:03 · 3673 阅读 · 0 评论