2020-12-27

学习目标：

逻辑回归算法：理论学习（第1天）

学习内容：

逻辑回归算法的理论

逻辑回归是一种与线性回归非常类似的算法，但从本质上讲，其处理的问题与线性回归不一致，线性回归处理的是数值问题（连续型），预测的结果是数字，而逻辑回归属于分类算法，预测结果是离散的分类，如判断某人是否患有某病、用户是否会点击某条广告等，通常将预测结果的是否记为0和1。因此逻辑回归是一种经典的二分算法。（当然，广义上的逻辑回归包括多元逻辑回归。）

逻辑回归的理论实现
实现方面，逻辑回归只是对线性回归的计算结果加上了一个Sigmoid函数，将数值结果转化为0到1之间的概率（数值越大，函数越逼近1；数值越小，函数越逼近0），再根据这个类别预测样本的类别。从直观上来看，逻辑回归是画出了一条分类线，位于分类线一侧的数据，概率>0.5,属于分类A；位于分类线另一侧的数据，概率<0.5,属于分类B。

逻辑回归的数学原理
逻辑回归相比于线性回归主要是利用了Logistic函数（也成为Sigmoid函数，Sigmoid函数是神经网络里的激活函数之一），函数形式为：

Logistic回归实质：
Logistic函数其实是将事件发生概率除以没有发生概率再取对数。就是这个不太繁琐的变换改变了取值区间的矛盾和因变量自变量间的曲线关系。究其原因，是发生和未发生的概率成为了比值 ，这个比值就是一个缓冲，将取值范围扩大，再进对数变换，整个因变量改变。不仅如此，这种变换往往使得因变量和自变量之间呈线性关系，这是根据大量实践而总结。所以，Logistic回归从根本上解决因变量要不是连续变量怎么办的问题。

logistic函数的优点：
1.logistic函数可以压缩数据，不管x取什么值，对应的函数值总是在(0,1)范围内；
2.logistic函数和其反函数都是严格单调递增的；
3.logistic函数连续、光滑，易于求导；
4.logistic函数关于点(0, 0.5)对称。
缺点：
1.在趋向无穷的地方，函数值变化很小，容易缺失梯度。
我也是刚刚自学的笨菜鸟，写下这一篇主要是当做笔记来复习知识。