学习打卡内容:
-
理解偏差和方差
-
学习误差为什么是偏差和方差而产生的,并且推导数学公式
-
过拟合,欠拟合,分别对应bias和variance什么情况
-
学习鞍点,复习上次任务学习的全局最优和局部最优
-
解决办法有哪些
-
梯度下降
-
学习Mini-Batch与SGD
-
学习Batch与Mini-Batch,SGD梯度下降的区别
-
如何根据样本大小选择哪个梯度下降(批量梯度下降,Mini-Batch)
-
写出SGD和Mini-Batch的代码
-
学习交叉验证
-
学习归一化
-
学习回归模型评价指标
1. 偏差与方差
1.1. 学习误差为什么是偏差和方差而产生的,并且推导数学公式
对测试样本 x x x,令 y D y_D yD为 x x x在数据集中的标记,y为x的真实标记, f ( x ; D ) f(x;D) f(x;D)为训练集D上学得模型f在x上的预测输出。
方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响,以回归任务为例,学习算法的期望预测为 f ( x ) = E D [ f ˉ ( x ; D ) ] f(x) = E_D[\bar{f}(x;D)] f(x)=ED[fˉ(x;D)] 使用样本数相同的不同训练集产生的方差为 v a r ( x ) = E D [ ( f ( x ; D ) − f ˉ ( x ) ) 2 ] var(x) = E_D[(f(x;D) - \bar{f}(x))^2] var(x)=ED[(f(x;D)−fˉ(x))2]
噪声:表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度。噪声是指样本在数据集中的标记与真实标记的偏差。
ε 2 = E D [ ( y D − y ) 2 ] \varepsilon^2 = E_D[(y_D-y)^2] ε2=ED[(yD−y)2]
偏差: 度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。期望输出与真实标记的差别称为偏差,即
b i a s 2 ( x ) = ( f ˉ ( x ) − y ) 2 bias^2(x) = (\bar{f}(x) - y)^2 bias2(x)=(fˉ(x)−y)2
泛化误差
对算法的期望平均预测误差,定义为:
E ( f ; D ) = E D [ ( f ( x ; D ) − y D ) 2 ] E(f;D) = E_D[(f(x;D) - y_D)^2] E(f;D)=ED[(f(x;D)−yD)2]
下面对算法的期望泛化误差进行分解:
E ( f ; D ) = E D [ ( f ( x ; D ) − y D ) 2 ] = E D [ ( f ( x ; D ) − f ˉ ( x ) + f ˉ ( x ) − y D ) 2 ] = E D [ ( f ( x ; D ) − f ˉ ( x ) ) 2 ] + E D [ ( f ˉ ( x ) − y D ) 2 ] + E D [ 2 ( f ( x ; D ) − f ˉ ( x ) ) ( f ˉ ( x ) − y D ) ] = E D [ ( f ( x ; D ) − f ˉ (