回归模型基本介绍（一）

机器学习三步骤：
1.选择合适的模型 2.模型评估（损失函数） 3.最佳模型（梯度下降）

回归模型（监督学习）

• 线性回归模型
  • 一元线性回归
  • 多元线性回归
• 非线性回归模型
• 最小二乘法

1. 定义

• 线性回归：给定数据集D= { ( x 1 , y 1 ) , ( 2 2 , y 2 ) , . . . , ( x m , y m ) } {\{(x_1,y_1),(2_2,y_2),...,(x_m,y_m)}\} {(x1​,y1​),(22​,y2​),...,(xm​,ym​)},其中$x_i=(x_{i2};...;x_{id}),y_i\in R$.“线性回归”(linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记。
• 线性回归是一种线性模型，它假设输入变量x和单个输出变量y之间存在线性关系。
  形如:$y=ax+b$ 一元线性回归
  多元线性回归：多个变量组成的集合，形如，$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$

2. 补充涉及的数学知识

• 多元函数：设D为一个非空的n元有序数组的集合，f为某一确定的对应规则。$（x_1,x_2,...,x_n）\in D$ 若对于每一个有序数组，通过f都有唯一确定的实数y与之对应，则称对应规则f为定义在D上的n元函数，记为$y=f(x_1,x_2,...,x_n)$
• 二元函数：设D是二维空间的一个非空子集，称映射f： D -> R为定义在D上的二元函数，记为$z=f(x,y),(x,y)\in D或z=f(p),p\in D$ 其中D称为该函数的定义域，x,y称为自变量，z称为因变量。

3. 线性回归模型
   给定有d个属性（特征）描述的示例$x=(x_1;x_2;...,x_d)$，其中$x_i$是x在第i个属性（特征）上的取值，线性模型试图学得一个通过属性（特征）的线性组合来进行预测的函数。（假设函数）
   即：$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$

   一般是用向量表示（向量默认是竖着的），写成：
   $f(x)=w^{T}x+b$ ，其中$w=(w_1;w_2;...;w_d)$ 转置变为横向量了。
   那么横向量*竖向量=数值，本质是向量的内积。
   把w和b学得以后，模型就得以确定了。

4. 最小二乘法
   基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(Least square method). 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。即，真实值与预测值的差值。

5. 损失函数是对单个训练集的，成本函数是所有训练集损失函数的平均数。