线性回归、逻辑回归、梯度下降

(一)线性回归：

1、基本概念：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。

2、分类

线性回归包括一元线性回归和多元线性回归，一元的是只有一个x和一个y。多元的是指有多个x和一个y。

线性回归方程要找的不是x和y 而是寻找合适的系数。

3、表达式：

4、图像：

这是一元线性回归，在拟合图像时还可能出现欠拟合、过拟合等现象。请看以下例子：

由图可知，第一种是欠拟合，第二种是拟合，第三种则是过拟合。

5、应用：

线性回归属于回归问题。对于回归问题，解决流程为：
给定数据集中每个样本及其正确答案，选择一个模型函数h（hypothesis，假设），并为h找到适应数据的（未必是全局）最优解，即找出最优解下的h的参数。

(二)逻辑回归：

1、基本概念：

逻辑回归是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）

回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。

2、优缺点：

优点： 
1）速度快，适合二分类问题 
2）简单易于理解，直接看到各个特征的权重 
3）能容易地更新模型吸收新的数据 
缺点： 
对数据和场景的适应能力有局限性，不如决策树算法适应性那么强

3、逻辑回归和多重线性回归的区别：

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。 
这一家族中的模型形式基本上都差不多，不同的就是因变量不同。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。

• 如果是连续的，就是多重线性回归
• 如果是二项分布，就是Logistic回归
• 如果是Poisson分布，就是Poisson回归
• 如果是负二项分布，就是负二项回归

4、常规步骤：

• 寻找h函数（即预测函数）
• 构造J函数（损失函数）
• 想办法使得J函数最小并求得回归参数（θ）

5、表达式：

6、图像：

7、预测函数：

构造预测函数为：

函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为： 
P(y=1│x;θ)=h_θ (x) 
P(y=0│x;θ)=1-h_θ (x)

8、损失函数：

构造损失函数J（m个样本，每个样本具有n个特征）

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。 

从而求得使J(θ)取得最大值的θ

(三)梯度下降：

1、基本概念：

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。可以用于求解非线性方程组。

2、理解：

对于函数z=f(x,y)，先对x求偏导，再对y求偏导，则梯度为(,)。

比如，偏导=4x,=6y。则在(2,4)点的梯度(8,24)。

3、如何使用梯度下降法：

以函数f(x)f(x)为例，先选择一个初始点，计算该点的梯度，然后按照梯度的方向更新自变量。若第kk次迭代值为x(k)x(k)，则

x(k+1)=x(k)−α∇f(x(k))x(k+1)=x(k)−α∇f(x(k))

其中 αα 称作 步长 或者 学习率 ，表示自变量每次迭代变化的大小。

一直按照上式更新自变量，直到当函数值变化非常小（如3%以内）或者达到最大迭代次数时停止，此时认为自变量更新到函数的极小值点。

该幅图片体现了学习率α选取的重要性

4、应用：

梯度下降法在线性回归和逻辑回归中都有很大的作用，能优化算法。

5、总结：

• 梯度下降法求的是极小值，而不是最小值
• 梯度下降法常常用来求凸函数的最小值，例如机器学习中各种代价函数的最小值
• 步长的选取很关键，步长过长达不到极值点甚至会发散，步长太短导致收敛时间过长
• 步长也可以设置为非固定值，根据迭代的情况变化
• 下降的初始点一般设置为从原点开始

参考文献:

逻辑回归原理介绍及Matlab实现:https://blog.csdn.net/laobai1015/article/details/78113214?locationNum=4&fps=1##1

梯度下降法详解:https://blog.csdn.net/suibianshen2012/article/details/51532348

梯度下降法：https://blog.csdn.net/xuelabizp/article/details/50878013