第十三篇：机器学习基础：线性回归算法、正规方程、梯度下降、正则化、岭回归

1 线性回归简介

1.1 线性回归应用场景

- 房价预测、销售额度预测、贷款额度预测  

1.2 什么是线性回归

- 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
####
    通用公式：h(w) = w1x1 + w2x2+ w3x3+ ... +b = wTx + b, 其中：w, x 可以理解为矩阵: w = [b, w1, w2]T,   x = [1, x1, x2]T
-- 单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系.
-- 如果是非线性关系，那么回归方程可以理解为：w1x1 + w2(x2)^2 + w3(x3)^2+ ...

2 线性回归的损失和优化

学习目标

- 知道线性回归中损失函数
- 知道使用正规方程对损失函数优化的过程
- 知道使用梯度下降法对损失函数优化的过程

损失函数

- 总损失定义为： J(w) = (h(x1) - y1)^2 + (h(x2) - y2)^2 + ... + (h(xm) - ym)^2 = 西格玛求和((h(xi) - yi)^2) 　
- 说明：yi为第i个训练样本的真实值，h(xi)为第i个训练样本特征值组合预测函数，又称最小二乘法。
- 通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失。去减少这个损失，使我们预测的更加准确。

优化算法

- 如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
- 线性回归经常使用的两种优化算法：正规方程、梯度下降法

2.1 正规方程 （正规方程：LinearRegression(不能解决拟合问题)）