![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
你吃过卤汁牛肉吗
这个作者很懒,什么都没留下…
展开
-
优化器
目录1. 随机梯度下降法 SGD2. 基本动量法梯度下降法的直观理解?为什么加入动量可以改善优化路线的曲折程度?为什么动量法可以加快网络的收敛?公式3.Nesterov动量法(Nesterov accelerated gradient (NAG))思想公式4. AdaGrad如何实现每个参数有不同的学习率?公式Adagrad优缺点5. RMS...原创 2019-07-12 20:54:05 · 333 阅读 · 0 评论 -
如何解决过拟合和欠拟合
欠拟合集成学习增加模型的迭代次数增加模型复杂程度(如神经网络增加层数,决策树加深等)更换表达能力更强的模型生成更多的特征供训练使用降低正则化程度过拟合使用正则化项,降低模型的复杂度增加训练集减少训练使用的特征数量...原创 2019-08-05 11:20:11 · 172 阅读 · 0 评论 -
矩阵和线性变换
什么是线性空间?什么是线性变换?什么是线性组合?什么是线性相关?什么是基底?基变换和坐标变换?经过线性变换之后新坐标的计算方式?线性其实就是指满足加法和数乘两种运算 矩阵可以看成是一种对于向量的线性变换 线性变换矩阵的列可以看做是由原来的基经过变换生成的新的基拼接而成(如果变换矩阵的列是线性相关会起到什么效果???) 基就是一组...原创 2019-08-04 20:44:14 · 1442 阅读 · 0 评论 -
ROC曲线和PR曲线
一 ROC曲线1. 什么是ROC曲线?2. 曲线的性质3. ROC曲线的绘制:4. ROC曲线的优点5. ROC曲线的缺点6. AUC值二 PR曲线1. 什么是PR曲线2. PR曲线的绘制三 ROC曲线和PR曲线的适用场景1. ROC适用2. PR适用总结:ROC 曲线可以用来评价分类器的效果好坏, 其横轴表示假警报率(聚焦于负例), 纵轴...原创 2019-08-03 22:32:49 · 1449 阅读 · 0 评论 -
精确率和召回率\准确率\F1值
相关定义 TP(真正): 预测正确, 预测结果是正类, 真实是正类 FP(假正): 预测错误, 预测结果是正类, 真实是负类 FN(假负): 预测错误, 预测结果是负类, 真实是正类 TN(真负): 预测正确, 预测结果是负类, 真实是负类 #跟类别1无关,所以不包含在并集中 (本例中, 正类:是...原创 2019-07-01 22:25:21 · 1839 阅读 · 0 评论 -
算数平均数\几何平均数\调和平均数
1. 算术平均数:2. 平方平均数:3. 几何平均数:4. 调和平均数:注意: 算术平均数、调和平均数、几何平均数是三种不同形式的平均数,分别有各自的应用条件。进行统计研究时,适宜采用算术平均数时就不能用调和平均数或几何平均数,适宜用调和平均数时,同样也不能采用其他两种平均数。但从数量关系来考虑,如果用同一资料(变量各值不相等)计算以上三种平均数的结果是:平...原创 2019-08-03 18:48:12 · 3493 阅读 · 0 评论 -
语义分割代码阅读---评价指标mIoU的计算
1. 语义分割IoU的定义传统意义上的IoU(Intersection over Union,交并比)直观表示:公式: 语义分割中的IoU在语义分割的问题中,这两个集合为真实值(ground truth)和预测值(predicted segmentation)。这个比例可以变形为正真数(intersection)比上真正、假负、假正(并集)之和。在每个类上计算Io...原创 2019-07-01 21:55:22 · 40797 阅读 · 11 评论 -
几种可分卷积
参考:http://www.sohu.com/a/317166403_3949870. 标准的2D卷积对于神经元的输入(7*7*3),用一个3*3*3的卷积核对输入进行卷积,得到一个5*5*1的特征图:若想得到128个特征图,需要128个3*3*3的卷积核对输入进行卷积:1. 空间可分卷积空间可分卷积操作的是图像的 2D 空间维度,即高和宽。空间可分卷积是将...原创 2019-07-11 20:32:38 · 734 阅读 · 0 评论 -
全局平均池化
全局平均池化是在论文Network in Network中提出的,原文中全局平均池化的作用和优点:思想:对于输出的每一个通道的特征图的所有像素计算一个平均值,经过全局平均池化之后就得到一个 维度==类别数 的特征向量,然后直接输入到softmax层作用:代替全连接层,可接受任意尺寸的图像优点:1)可以更好的将类别与最后一个卷积层的特征图对应起来(每一个通道对应一种...原创 2019-07-12 10:15:04 · 39065 阅读 · 11 评论 -
模型显存占用及其计算量
1. 显存的占用当在GPU上跑一个模型时,显存的占用主要有两部分:模型的输出(特征图、特征图的梯度)、模型的参数(权重矩阵、偏置值、梯度)1. 模型参数的显存占用:(例如:卷积核的参数、BN层、全连接层的参数等(池化层没有参数))2. 如果是在训练阶段,需要反向传播更新参数值,所以每个参数都需要存储梯度。所以模型参数的显存占用,与采用的优化器有关。 1)如果使...原创 2019-07-11 09:37:05 · 15747 阅读 · 4 评论 -
神经网络优化:指数衰减计算平均值(滑动平均)
目录1. 神经网络优化中的滑动平均2. 滑动平均详解---用滑动平均估计局部均值2.1 三种参数更新方式的比较2.1.1 滑动平均2.1.2 带偏差修正的滑动平均2.1.3 结论3. 滑动平均的好处4. 滑动平均在神经网络中的应用转自:https://blog.csdn.net/qq_18888869/article/details/830095041...转载 2019-07-15 18:06:42 · 2976 阅读 · 1 评论 -
加速技巧---Conv BN的融合
网络完成训练后,在inference阶段,为了加速运算,通常将卷积层和BN层进行融合:卷积层:BN层:融合两层: 将Conv层的公式带入到BN层的公式融合后相当于:【tips:inference阶段,E[x]为滑动均值,Var[x]为滑动方差】将BN层融合到卷积层中,相当于对卷积核进行一定的修改,没有增加卷积的计算量,同时整个BN层的计算量都省去了。...原创 2019-08-06 15:41:26 · 5942 阅读 · 2 评论