【第二章】线性回归

1、能够列出线性回归公式，y=wx+b+⊱并阐述每一个参数的具体含义。

上述模型中X是自变量，Y是因变量，⊱是随机误差，w,b是需要学习的参数。

2、了解线性回归和非线性回归的区别。

 3、阐述最小二乘法的概念及用途，并且可以列举出最小二乘法所使用的损失函数。

最小二乘法，也叫做最小平方法（LEAST SQUARE METHOD），它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最小二乘法来表达。

 4、复述最小二乘法为什么采用的计算方式不是算点到直线的距离。

 5、推导使用正规方程求解线性回归参数 w*和b*的过程。

 6、从多项式拟合的实例中，阐述过拟合发生的原因，以及为什么多 项式的系数越高，模型越复杂？

算法模型为了更好的拟合样本集，使其模型的拟合能力超过远远超过了问题复杂度，也就是学习模型过于复杂。

多项式系数越高，模型越复杂是因为多项式次数的增加会使得函数的拟合能力增强。随着多项式次数的增加，模型将能够更准确地拟合数据，但同时也会带来更高的过拟合风险。

7、了解正则化系数对于模型表现能力的影响，能够熟练的表达其在训练集合测试集相应指标的变化趋势。

矩阵的1-范数可定义为矩阵中所有元素的绝对值之和，而矩阵的L2范数是指矩阵中各元素的平方和再开均方根的结果。

L1：在优化过程中，正则化项的存在能够使那些不重要的特征系数逐渐为零，从而保留关键特征，使得模型简化。

L2：最小化参数矩阵的每个元素，使其无限接近0但又不像L1那样等于0，也能降:低模型的复杂度。

8、了解多元线性回归的基本概念。

用两个或两个以上的影响因素作为自变量来解释因变量的变化，这就是多元回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。

当数据集D中的样本Xi由多个属性进行描述，此时称为“多元线性回归”。

9、能够推导出多元线性回归的正规方程当 XT X 为正定矩阵时求解 W* （此处是将权重 w 和偏置 b 组合成为 W）的过程及最后结果。

10、了解 w;b 转换成为 W*的过程。

见第5题