（2-1）逻辑回归LR（Logistic Regression）

算法说明：逻辑回归假设数据模型为努伯利分布，利用极大似然估计构建逻辑回归模型

算法目的：处理分类问题，将连续数据输出离散二进制（0或1）（是否问题）

算法过程：利用sigmiod函数将任意实值映射为[0,1]范围内的值----------->

                 参考极大似然估计的方法得到损失函数（代价函数），得到高阶可导的凸函数------------------>

                 利用梯度下降的方法最终求得  值，最终得到逻辑回归模型

sigmoid函数：

努伯利分布：                                                                          

         

极大似然估计的对数似然函数：

参考对数似然函数得到损失函数：

单个损失估计：     

整个样本损失：

 

对于一般逻辑回归，令x=x  或者 (x=)，则推导得逻辑回归损失函数为：

其中，y(i)表示运算出的lable（标签），其值为0或1；

等于输入的第 i 个数据；

采用梯度下降法求得

最终求得逻辑回归模型：