机器学习深度学习细碎知识点回顾-CSDN博客

本文链接：https://blog.csdn.net/qq_42995425/article/details/122855112

机器学习细碎知识点回顾

方差：样本与平均值之间的离散程度。
残差：实际值与模型预测值（回归曲线值）
数据点与它在回归直线相应位置的差异称为残差。
identity激活函数：f(x)=x; 是一种输入与输出相等的激活函数
好处：幅值不会随着网络层深度层数增多而有太大变化。网络更加稳定，梯度值更容易往回传。
same：输入和输出的特征图尺寸一样
valid：仅在输入图有效的范围生成特征图
系统某一时刻的输出是由多个输入共同作用（叠加）的结果

卷积神经网络中的卷积，每个卷积核是通过训练得到的参数，
滤波器是特殊的卷积操作，卷积核的参数是自己训练的，但录波器的参数人为设定的，让它有特殊功能。
（使用滤波器的过程是叫池化，滤波器的大小和为1，有一些加强边缘，平滑噪声的作用等，池化不会改变输出图片的大小。卷积不同）

卷积：系统某一时刻的输出是由多个输入共同作用叠加的结果。
卷积核对等长宽大小区域的输入图像进行卷积（内积）相乘，（看着是对应位置相乘然后求和，实际按照线性代数按照行列式方法求，卷积核旋转180那样的，然后对应位置相乘
每个kemel压缩所有的输入通道到一个单一的输出通道）

更深的网络层训练性能退化的现象：层数越深，数据被映射到更加离散的空间

early stopping: callbacks的一种，当训练集的loss不在减小（减小的程度小于某个阈值），就停止继续训练。
callbacks:用于指定在每个epoch开始和结束的时候进行哪种特定操作。
verbose 日志显示，等于1是显示进度条，等于0是不显示进度条。
opt = TrainOptions().parse()
iter：表示迭代