基于CNN的深度学习基础（一）

一、代码基础框架

（1）先导入数据，对数据进行预处理；
（2）定义网络，采用什么样的网络；
（3）定义LOSS函数；
（4）定义优化器；
（5）开始启动训练；
（6）测试训练模型精度。

二、神经网络基础

机器视觉里面，图像处理得过程无非分为两个大类，分类问题和回归问题。离散样本的预测，属于分类任务；连续样本的预测，属于回归问题。

其中这两类问题在计算LOSS值得时候，有两种不同得计算方式，回归问题常用均方差；回归问题常用到softmax 交叉熵。

稀疏：描述矩阵制非零元素
低秩：数据本身的关联性，
秩：一个矩阵中，向量的相互可表示关系

偏差：描述LOSS值是否在收敛，逼近最优化解。 方差：描述得是收敛得是否稳定，波动情况是否大。

如何防止过拟合：
对tensor进行裁剪，能够减小张量维度和参数个数，使得模型简化，提升鲁棒性。避免过拟合。
经过约束之后，解空间变小了。
数值范围进行约束后，防止了梯度消失、梯度离散和梯度爆炸。

L0范数实际就是参数向量中0得个数，我们希望0越多越好，但是L0是不可导得，所以要用到L1，就是一阶范数（真实值与实际值的差的绝对值），一阶范数可以评判下降的方向，但是，不平滑，存在不可导点，因此又采用L2（二阶范数）使得参数向量变得平滑。

J（w,b）描述的是偏差。 后面的正则项是为LOSS最优化提供参数约束，使得参数量变少，范围变小。L0,L1,L2就是用于正则化的。

三、机器视觉常用到的一个第三方库

torchvision是一个第三发库，Import后，可以直接使用里面一些封装好的网络和数据集