【机器学习算法总结】线性回归

1 机器学习概念

• 损失函数/代价函数：当我们选定决策函数$f(X)$时，对于给定的输入$X$，由$f(X)$给出相应的输出$Y$，为了能够表现出$f(X)$拟合的好坏，我们定义一个函数来度量拟合的程度，这个函数就称为损失函数。比如$L(Y,f(X))=(Y-f(X){)}^2$
• 过拟合：如果一味提高模型对训练数据的预测能力时，模型的复杂度会提高，此时对于测试数据的预测能力就会降低。
• 正则化：解决过拟合的典型方法就是正则化，在损失函数上加一个正则化项，一般为模型参数向量的范数，他的作用是选择损失函数和正则化项同时较小的模型参数。
• 目标函数：目标函数即最终优化的函数，与损失函数有关，在加上正则化项之后，最终的目标函数及为$\min (Y-f(X){)}^2+\lambda J(f)$
• 泛化能力：泛化能力是指模型对未知数据的预测能力，一般采用测试数据集的误差来评价模型的泛化能力。
• 评价函数：模型的评价一般基于训练误差和测试误差，另外在分类问题中，也会用精确率，召回率和F1score等来评价模型的好坏。

2 线性回归

假设有数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } D = \left\{ \left( x _ { 1 } , y _ { 1 } \right) , \left( x _ { 2 } , y _ { 2 } \right) , \cdots , \left( x _ { m} , y _ { m } \right) \right\} D={ (x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}。
当$x_i$有且仅有一个特征时，便可以构建出线性回归模型：$f(x)={\theta }_0+{\theta }_1{x}_i$，其中$\theta$即为要学习的参数。
当$x_i$有n个特征时，即$x_i=(x_i^1,x_i^2,x_i^3,\cdots ,x_i^n)$，令 x i = ( 1 , x i 1 , x i 2 , x i 3 , ⋯   , x i n ) x_i = (1,x_i^1,x_i^2,x_i^3, \cdots,x_i^n) x