spark 2.x 源码分析 之 Logistic Regression 逻辑回归

Logistic Regression 逻辑回归

第一次写博客，希望互相交流。如果公式显示不完整，请看github原文

一、二元逻辑回归

1. 1、简介

   回归是解决变量之间的映射关系（x->y），而逻辑回归则通过sigmoid函数将映射值限定在(0,1)。sigmoid图像如下：
   
   

   

   
   假设特征是x，线性函数可以表示为：
   

   

   
   而逻辑回归则是在其基础上套上一个sigmoid函数：
   

   

   
   因此逻辑回归属于线性函数，具有线性决策边界（面）：

   

   2、构造损失函数

   对于二分类，分类结果只有两种：y=1 or y=0，其概率分别为
   
   
   
   
   
   因此最大似然估计为：
   
   
   对上述公式取log方便计算，同时为了将likelihood最大化问题转化为最小化问题，对上述公式取-log得到损失函数：