线性回归

目录

一、线性回归简介

1.1 线性回归的应用场景

1.2 线性回归的特征与目标的关系分析

二、线性回归api初步使用

2.1 线性回归API

2.2 举例

2.3 代码过程

三、线性回归的损失和优化

3.1 损失函数

3.2 优化算法

3.2.1 正规方程

3.2.2 正规方程求解举例

3.2.3 正规方程的推到

3.3 梯度下降（ Grandient Descent ）

3.3.1 什么是梯度下降 

3.3.2 梯度的概念

3.3.3 梯度下降的举例

3.3.4 梯度下降的公式

3.4 梯度下降和正规方程的对比

3.4.1 两种方法对比

3.4.2 算法选择依据

---

一、线性回归简介

1.1 线性回归的应用场景

房价预测、销售额度预测、贷款额度预测等

1.2 什么是线性回归

线性回归（ Linear regression）是利用回归方程（函数）对一个或者多个自变量（特征值）和因变量（目标值）

之间关系进行建模的一种分析。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量的情况的叫做多元回归

• 线性回归用矩阵表示举例

                                          

写成矩阵形式：

                                            

从列的角度看：

                                

那么怎么理解呢？ 我们来看几个例⼦

• 期末成绩： 0.7×考试成绩+0.3×平时成绩
• 房⼦价格 = 0.02×中⼼区域的距离 + 0.04×城市⼀氧化氮浓度 + (-0.12×⾃住房平均房价) + 0.254×城镇犯罪率

上面两个例子， 我们看到特征值与⽬标值之间建⽴了⼀个关系， 这个关系可以理解为线性模型。

1.2 线性回归的特征与目标的关系分析

       线性回归当中主要有两种模型， ⼀种是线性关系， 另⼀种是非线性关系。 在这⾥我们只能画⼀个平⾯更好去理解， 所以都用单个特征或两个特征举例⼦。

• 线性关系

             单变量线性关系：                                             多变量关系：

                    

 

注释： 单特征与目标值的关系呈直线关系， 或者两个特征与目标值呈现平面的关系

• 非线性关系

注释： 为什么会这样的关系呢？ 原因是什么？
如果是非线性关系， 那么回归放程可以理解为：

二、线性回归api初步使用

2.1 线性回归API

2.2 举例

2.3 代码过程

# coding:utf-8
from sklearn.linear_model import LinearRegression
# 1.获取数据
x = [[80, 86],
     [82, 80],
     [85, 78],
     [90, 90],
     [86, 82],
     [82, 90],
     [78, 80],
     [92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
# 2.模型训练
# 2.1 实例化一个估计器
estimator = LinearRegression()
# 2.2 使用fit方法进行训练
estimator.fit(x, y)
# 打印对应的系数:
print("线性回归的系数是:\n", estimator.coef_)
# 打印的预测结果是:
print("输出预测结果:\n", estimator.predict([[100, 80]]))

结果：