《机器学习》笔记（三）

线性回归
回归和分类的区别在于要预测的⽬标函数是连续值。
线性回归定义

可以使⽤最⼩⼆乘法（least square method）对向量形式中的参数w和b估计

w和b的最⼩⼆乘法估计
最⼩⼆乘法就是基于及预测值和真实值的均⽅差最⼩化的⽅法来估计参数值




线性模型的优点
形式简单、易于建模
可解释性
非线性模型的基础

⼴义线性回归
只要学到w和b，模型就可以确定。对于任意的测试样例x，只要输⼊它的属性值，就可以输出
它的预测值。
⼴义线性回归定义generalized linear regression
线性回归假定输入空间到输出空间的函数映射成线性关系，但在现实⽣活中很多问题都是非线
性的。所以将线性回归的预测值做⼀个非线性的函数变化去逼近真实值，这样得到的模型称为