逻辑回归

1.逻辑回归

参考http://www.cnblogs.com/ModifyRong/p/7739955.html

（1）介绍

在 线性回归模型中，输出一般是连续的，例如y=f(x)=ax+b，对于每一个输入的x，都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。
但是对于 逻辑回归，输入可以是连续的[-∞, +∞]，但输出一般是离散的，即只有有限多个输出值。例如，其值域可以只有两个值{0, 1}，这两个值可以表示对样本的某种分类，高/低、患病/健康、阴性/阳性等，这就是最常见的二分类逻辑回归。因此，从整体上来说，通过逻辑回归模型，我们将在整个实数范围上的x映射到了有限个点上，这样就实现了对x的分类。因为每次拿过来一个x，经过逻辑回归分析，就可以将它归入某一类y中

（2）逻辑回归的损失函数

逻辑回归的损失函数是它的极大似然函数

（3）逻辑回归的目的

函数的目的便是将数据二分类，提高准确率。

（4）逻辑回归如何分类

逻辑回归作为一个回归(也就是y值是连续的)，如何应用到分类上去呢？y值确实是一个连续的变量。
逻辑回归的做法是划定一个阈值，y值大于这个阈值的是一类，y值小于这个阈值的是另外一类。
阈值具体如何调整根据实际情况选择。一般会选择0.5做为阈值来划分。

2.最小二乘法

Ax=b为假设函数
按照上面方法求解最佳函数解

3.梯度下降法

https://blog.csdn.net/wsp_1138886114/article/details/81328694

（1）代价函数

均方误差代价函数

（2）单，多变量

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

多变量函数

（3）参数解释

1.α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！
…
2.梯度前加一个负号，就意味着朝着梯度相反的方向前进！梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号

（4）梯度简介

https://www.jianshu.com/p/c7e642877b0e更加详细