李宏毅机器学习作业2

学习打卡内容：

• 理解偏差和方差

• 学习误差为什么是偏差和方差而产生的，并且推导数学公式

• 过拟合，欠拟合，分别对应bias和variance什么情况

• 学习鞍点，复习上次任务学习的全局最优和局部最优

• 解决办法有哪些

• 梯度下降

• 学习Mini-Batch与SGD

• 学习Batch与Mini-Batch，SGD梯度下降的区别

• 如何根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）

• 写出SGD和Mini-Batch的代码

• 学习交叉验证

• 学习归一化

• 学习回归模型评价指标

1. 偏差与方差

1.1. 学习误差为什么是偏差和方差而产生的，并且推导数学公式

对测试样本$x$,令$y_D$为$x$在数据集中的标记，y为x的真实标记，$f(x;D)$为训练集D上学得模型f在x上的预测输出。
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响，以回归任务为例，学习算法的期望预测为$$f(x)=E_D[\bar{f}(x;D)]$$ 使用样本数相同的不同训练集产生的方差为 $$var(x)=E_D[(f(x;D)-\bar{f}(x){)}^2]$$
噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。噪声是指样本在数据集中的标记与真实标记的偏差。
$${\epsilon }^2=E_D[(y_D-y{)}^2]$$
偏差: 度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。期望输出与真实标记的差别称为偏差，即
$$bia{s}^2(x)=(\bar{f}(x)-y{)}^2$$
泛化误差
对算法的期望平均预测误差，定义为：
$$E(f;D)=E_D[(f(x;D)-y_D{)}^2]$$

下面对算法的期望泛化误差进行分解：
E ( f ; D ) = E D [ ( f ( x ; D ) − y D ) 2 ] = E D [ ( f ( x ; D ) − f ˉ ( x ) + f ˉ ( x ) − y D ) 2 ] = E D [ ( f ( x ; D ) − f ˉ ( x ) ) 2 ] + E D [ ( f ˉ ( x ) − y D ) 2 ] + E D [ 2 ( f ( x ; D ) − f ˉ ( x ) ) ( f ˉ ( x ) − y D ) ] = E D [ ( f ( x ; D ) − f ˉ (