机器学习面试准备之一、线性回归与逻辑回归
(1)线性回归(Linear Regression):
线性回归才是真正用于回归的,而不像logistic回归是用于分类,其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化。单变量线性回归的基本形式就是y = ax + b,用来拟合数据,比如房屋面积和价格的关系。
收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,多变量线性回归的表示形式为:
优化目标为:
在线性回归的基础上,有了局部加权线性回归(LWLR),优化目标为:
由此可见LWLR与LR不同,LWLR是一个非参数模型,因为每次进行回归计算都要遍历训练样本至少一次。
线性回归优缺点:
- 优点:实现简单,计算简单;
- 缺点:不能拟