1、能够列出线性回归公式,y=wx+b+⊱并阐述每一个参数的具体含义。
上述模型中X是自变量,Y是因变量,⊱是随机误差,w,b是需要学习的参数。
2、了解线性回归和非线性回归的区别。
3、阐述最小二乘法的概念及用途,并且可以列举出最小二乘法所使用的损失函数。
最小二乘法,也叫做最小平方法(LEAST SQUARE METHOD),它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最小二乘法来表达。
4、复述最小二乘法为什么采用的计算方式不是算点到直线的距离。
5、推导使用正规方程求解线性回归参数 w*和b*的过程。
6、从多项式拟合的实例中,阐述过拟合发生的原因,以及为什么多 项式的系数越高,模型越复杂?
算法模型为了更好的拟合样本集,使其模型的拟合能力超过远远超过了问题复杂度,也就是学习模型过于复杂。
多项式系数越高,模型越复杂是因为多项式次数的增加会使得函数的拟合能力增强。随着多项式次数的增加,模型将能够更准确地拟合数据,但同时也会带来更高的过拟合风险。
7、了解正则化系数对于模型表现能力的影响,能够熟练的表达其在训练集合测试集相应指标的变化趋势。
矩阵的1-范数可定义为矩阵中所有元素的绝对值之和,而矩阵的L2范数是指矩阵中各元素的平方和再开均方根的结果。
L1:在优化过程中,正则化项的存在能够使那些不重要的特征系数逐渐为零,从而保留关键特征,使得模型简化。
L2:最小化参数矩阵的每个元素,使其无限接近0但又不像L1那样等于0,也能降:低模型的复杂度。
8、了解多元线性回归的基本概念。
用两个或两个以上的影响因素作为自变量来解释因变量的变化,这就是多元回归。当多个自变量与因变量之间是线性关系时,所进行的回归分析就是多元性回归。
当数据集D中的样本Xi由多个属性进行描述,此时称为“多元线性回归”。
9、能够推导出多元线性回归的正规方程当 XT X 为正定矩阵时求解 W* (此处是将权重 w 和偏置 b 组合成为 W)的过程及最后结果。
10、了解 w;b 转换成为 W*的过程。
见第5题