非晚非晚的博客

深度学习模型参数量与FLOPs计算工具介绍

卷积操作可以压缩整合图片特征，让[通道, 宽, 高]分别为[c,h,w][c,h,w]的特征图片通过Conv2d。变为更多的通道(维度)cc，更小的尺寸[h,w][h,w]。也就是说，当输入为一组图片[n,c,h,w][n,c,h,w]格式时，输出也为[n,c,h,w][n,c,h,w]格式。转置卷积，也称为反卷积(deconvlution)和分部卷积(fractionally-strided convolution)。为卷积的逆操作，即把特征的维度压缩，但尺寸放大。注意它 不是真正意义上 的卷积的逆操作。

1. 评价指标的种类2. 分类任务的评价指标2.1 分类任务的一些概念（1） 交并率(IoU, Intersection over Union)（2）TP、FP、FN、TN与混淆矩阵2.2 准确率(Accuracy)2.3 精确率与召回率(Precision ， Recall)2.4 F1分数2.5 G分数2.6 AP和mAP2.7 ROC与AUC（1）ROC（2）AUC3. 回归任务的评价指标3.1 MSE3.2 MAE3.3 RMSE

归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）。

输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核高度、卷积核宽度、输入通道数、输出通道数（卷积核个数）...

也看了不少softmax和交叉熵的文章了，不少文章对它们的来龙去脉做了比较清晰地梳理，有些文章讲得过于复杂，从信息量、相对熵(KL散度)讲到交叉熵，对于想要实际应用的同学来说，其实没有必要掌握它的来龙去脉，于是在此，对softmax和交叉熵的概念和公式进行简要说明，辅助以实际例子对它们具体说明。

1. 训练与学习率的关系2. 学习率的衰减策略（1）分段常数衰减（2）指数衰减（3）自然指数衰减（4）多项式衰减（5）余弦衰减（6）Lambda学习率3. 周期性学习率（1）循环学习率（2）带热重启的随机梯度下降4. 自适应学习率（1）Adagrad算法（2）RMSprop算法（3）AdaDelta算法

既然要研究深度学习这一门学科，外文的论文和资料阅读是必不可少的，下面就总结一些深度学习相关方面的专有英文，并做一些必要解释。

CNN从90年代的LeNet开始，21世纪初沉寂了10年。直到2012年Geoffrey和他学生Alex在ImageNet的竞赛中，刷新了image classification的记录，一举奠定了deep learning 在计算机视觉中的地位。这次竞赛中Alex所用的结构就被称为作为AlexNet，AlexNet使用的就是CNN。1. 基本概念2. 卷积神经网络的结构2.1 输入层2.2 卷积层2.3 池化层2.4 全连接层2.5 卷积神经网络的其它概念（1）感受野（2）padding（3）stride

batchsize最大是样本总数N，此时就是Full batch learning；最小是1，即每次只训练一个样本，这就是在线学习（Online Learning）。当我们分批学习时，每次使用过全部训练数据完成一次Forword运算以及一次BP运算，即成为完成了一次epoch。

1. 从机器学习到深度学习1.1 简要了解机器学习到深度学习1.2 深度学习的发展浪潮2. 感知机3. 前馈神经网络4. 反向传播(Backpropagation)（1）step1:赋初始值（2）step2:前向传播（3）step3:反向传播5. 隐藏层 我们知道，Machine Learning分为两大派别：频率派和贝叶斯派；前者逐渐发展为统计学习，后者逐渐发展为概率图模型（PGM，Probability graph model）。

CPU主要用于串行运算；而GPU则是大规模并行运算。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU快。

1. 人工智能（AI）、机器学习（ML）和深度学习（DL）1.1 人工智能1.2 机器学习1.3 深度学习1.4 人工智能、机器学习和深度学习的关系2 监督学习与无监督学习3. 深度神经网络（deep neural networks，DNN）4. 激活函数（activation function）4.1 sigmoid4.2 tanh激活函数4.3 Relu激活函数4.4 Leak Relu 激活函数4.5 Softmax激活函数4.6 激活函数的性质4.7 激活函数的选择5. 欠拟合与过拟合

目录 1.神经网络训练过程 2、基础概念 3、数据预处理手段 4、数据处理库 5、训练集、测试集，测试集 5、损失函数 6、优化器 7、激活函数 8、hello world 9、总结 深度神经网络就是用一组函数去逼近原函数，训练的过程就是寻找参数的过程。 1.神经网络训练过程 神经网络的训练过程如下： 收集数据，整理数据 实现神经网络用于拟合目标函数 做一个真实值和目标函数值直接...