逻辑回归

逻辑回归
逻辑回归的过程：
(1) 收集数据：采用任意方法收集数据。
(2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据 格式则最佳。
(3) 分析数据：采用任意方法对数据进行分析。
(4) 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5) 测试算法：一旦训练步骤完成，分类将会很快。
(6) 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值； 接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于 哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。
数学原理：
1.Sigmoid函数：
接受所有的输入，然后预测其类别
Sigmoid函数可以近似实现在跳跃点处实现0跳跃到1

​2.基于最优化方法确定最佳回归系数
3.梯度上升法
思想：寻找某函数的最大值，我们选择的最好的方法是沿着该函数的梯度方向寻找。
步长的概念
迭代的概念
函数迭代进行，一直到达到某个条件为止。
例如：迭代误差小于多少即停止迭代或迭代次数达到某个值停止迭代。
Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程可以由最优化算法来完成。

总结：
在最优化算法中，最常用的就是梯度上升算法，而梯度上升算法又可以简化为随机梯度上升算法。