Logistic回归、最优化理论与算法

基于Logistic回归和sigmoid函数分类

在介绍logistic回归之前，我们先要搞懂回归和分类的区别：

通俗一-点讲，我们要预测的结果是一个数,比如要通过- 一个人的饮食预测-一个人的体 重体重的值可以有无限多个,有的人50kg,有的人51kg在50和51之间也有无限多个数这种预测结果是某一个确定数, 而具体是哪个数有无限多种可能的问题我们会训练出-个模型传入参数后得到这个确定的数这类问题我们称为回归问题预测的这个变量(体重因为有无限多种可能在数轴上是连续的，所以我们称这种变量为连续变量
通俗一-点讲，我们要预测的结果是一个数，比如要通过-一个人的饮食预测-一个人的体重体重的值可以有无限多个，有的人50公斤，有的人51公斤在50和51之间也有无限多个数这种预测结果是某一个确定数，而具体是哪个数有无限多种可能的问题我们会训练出-个模型传入参数后得到这个确定的数这类问题我们称为回归问题预测的这个变量(体重因为有无限多种可能在数轴上是连续的，所以我们称这种变量为连续变量

我们要预则-个人身体健康或者不健康预测会得癌症或者不会得癌症,预测他是水瓶座天蜴座还是射手座这种结果只有几个值或者多个值的问题我们可以把每个值都当做-类预测对像到底属于哪- -类 这样的问题称为分类问题.如果-个分类问题的结果只有两个 比如是和不是“两个结果我们把结果为"是的样例数据称为正例" ,讲结果为"不是的样例数据称为“负例对应的，这种结果的变量称为离散型变量。
我们要预则-个人身体健康或者不健康预测会得癌症或者不会得癌症，预测他是水瓶座天蜴座还是射手座这种结果只有几个值或者多个值的问题我们可以把每个值都当做-类预测对像到底属于哪–类这样的问题称为分类问题.如果-个分类问题的结果只有两个比如是和不是“两个结果我们把结果为”是的样例数据称为正例“，讲结果为”不是的样例数据称为“负例对应的，这种结果的变量称为离散型变量.

而我们拟合的过程就称为回归。

**Logistic回归的一般过程** 
(1) 收集数据：采用任意方法收集数据。 
(2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据
格式则最佳。 
(3) 分析数据：采用任意方法对数据进行分析。 
(4) 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。 
(5) 测试算法：一旦训练步骤完成，分类将会很快。 
(6) 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；
接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于
哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。

极大似然估计

为了确定回归的系数，我们这里引进极大似然估计法。
下面是其定义和理论上的推导。