深度学习基础之回归问题与正则化——慕课学习笔记

回归和分类的区别和联系：
●区别:

1. 分类:使用训练集推断输入x所对应的离散类别(如: +1, -1)。
2. 回归:使用训练集推断输入x所对应的输出值，为连续实数。

●联系:

1. 利用回归模型进行分类:可将回归模型的输出离散化以进行分类，即y = sign(f(x))。
2. 利用分类模型进行回归:也可利用分类模型的特点，输出其连续化
   的数值。

线性模型：
●狭义线性(linear)模型:

1. 通常指自变量与因变量之间按比例、成直线的关系，在数学上可理解为-阶导数为常数的函数，如y= θ"x;
2. 线性通常表现为一次曲线。

●广义线性(generalized linear model， GLM ) 模型:
是线性模型的扩展，主要通过联结函数g(link function)，使预测
值落在响应变量的变幅内。例如逻辑回归：

线性回归：
●线性回归模型中，假设自变量和因变量满足如下形式:y= he(x)= θ"x
●问题:已知一些数据，如何求里面的未知参数，给出一个最优解。
●因此通常将参数求解问题转化为求最小误差问题。一般采用模型预测结果与真实结果的差的平方和作为损失函数:


求解使得损失函数最小的参数θ：
■矩阵解法。scikit-learn中的LinearRegression类使用的是矩阵解法(有时也称为最小二乘法)。可以解出线性回归系数θ。

■梯度下降法。梯度下降(Gradient descent )是利用一阶的梯度信息找到函数局部最优解的一种方法。

线性回归的正则化：
●应对过拟合(Overfitting)。因为在某些情况下，学习得到的模型在
训练集_上也许误差较小。但是对于测试集中之前未见样本的预测却未
必有效。为此可以在损失函数中加入正则化项。以线性回归为例：

其中a是正则化参数(regularization parameter)，用于控制两个不同的
目标的平衡。
1.第一个目标是使假设更好地拟合训练数据。
2.第二个目标是要正则化处理，使得模型不要太复杂。

逻辑回归：
●线性回归的输出值的范围通常是无法限定的。
●逻辑回归通过使用logistic函数(或称为sigmoid函数)将其转化为(0,1)区间的数值。

通过一个实例比较线性回归（一次回归）与多项式回归（二次回归）：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression # 线性回归模块
from sklearn.preprocessing import PolynomialFeatures # 生成多项式特征模块
from matplotlib.font_manager import FontProperties # 字体属性模块
# 设置字体为宋体，用于坐标轴上数字显示
font_set = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=20)