机器学习-监督学习1

线性回归

案例介绍：根据房屋的居住尺寸来预测房价。
分析：每个居住尺寸对应一个唯一且给定的住房价格，因而这是个监督学习问题。我们希望获得居住尺寸与房价两个变量之间的关系，这是个回归问题。由于求取的是线性模型，故而得到的是线性回归问题。

• 线性回归模型是监督学习模型中最基本的模型

数据分析：
m为数据集中的样本数量
x为输入数据，也称为特征
y为目标数据，也称为标签
（xi,yi）为数据集中第i个样本

构建模型：
针对这个数据集，我们需要选择合适的w和b参数使得对于训练样本（x,y），我们的预测结果h(x)可以与y接近。
对所有样本：

其中m为样本数。

• 欧氏距离，也称欧几里德度量（Enclidean metric），指在m维空间中两个点之间的真实距离。
• 曼哈顿距离（Manhattan Distance），标明两个点在标准坐标系上的绝对轴距总和。
• 拟合曲线
  计算每个点到每个拟合曲线之间的均方误差后，可得到误差最小的拟合曲线，称之为最佳拟合曲线（best fitting curve）。

多元线性回归

案例介绍: 除了选择房间大小，我们还添加了其它特征，如卧室数、洗手间数/房龄，总共四个特征来预测房价，称之为多元线性回归。

数据分析：

建立模型：

多元线性回归：

多元线性回归通常会比一元线性回归具有更好的拟合效果。

• 向量化

• 特征缩放（feature scaling）——用来标准化数据特征的范围，使所有特征处于相同数量级，从而避免模型对数据偏差处理，同时加快梯度下降的收敛速度。
  常用方法：标准化、比例调节、离群点缩放、稀疏点缩放等。
  （1）比例调节（rescaling），将数据缩放范围为：[0,1]或[-1,1]。
  
  （2)标准化（零均值单位方差）
  
  多项式回归
• 关于已有特征的非线性，但仍属于线性回归