机器学习算法原理详解(一)-----逻辑回归

开一个系列来记录自己在学习机器学习算法原理中的心得与感悟,首先从逻辑回归开始写起吧。

       逻辑回归在维基百科的定义是Logistic回归是一种统计模型,其基本形式是使用Logistic函数来对二元因变量建模,尽管存在许多更复杂的扩展。在回归分析中,逻辑回归(或logit回归)是对逻辑模型(一种二元回归形式)的参数进行估计。在数学上,二元逻辑模型有一个因变量,它有两个可能的值,比如通过/失败,它由一个指标变量表示。逻辑回归在问题类别中属于分类问题。而且常用在二分类问题中,当然也可以扩展到多分类问题上,二分类问题中的logistic函数使用的是sigmoid函数,sigmoid函数的公式表达如下: 

   f(u)=\frac{1}{1+e^{-u}}

但是逻辑回归的实质是概率问题,可以分为条件概率来做处理。在这里先写一下贝叶斯公式

P\left ( B|A \right )=\frac{P\left ( A|B \right )P\left ( B \right )}{P\left ( A \right )}

P\left ( B|A \right )被称为后验概率 叫做在在A发生的情况下B也会发生的概率,P\left ( A|B \right ) 被称为条件概率,P\left ( B \right )被称为先验概率

那么对应到分类问题中就变成了

回到sigmoid函数上,sigmoid函数可将一个实数映射到(0,1)的区间,sigmoid函数曲线图为

可以看到横坐标大于0.5的时候,sigmoid函数为正数,小于为负数,所以在实际的操作中通过判断你和曲线值y是大于0.5还是小于0.5来做分界线

sigmoid函数中的u实际是类别值函数,假设该分类问题中特征变量有x1,x2,.....xn,Y为类别值,那么可以得到

u=f({x_{1},x_{2}...x_{n}}) =a_{1}x_{1}+a_{2}x_{2}+.......a_{n}x_{n}+b ,其中u就是Y的实际值。

所以在实际计算中只需要找到这个方程式,去计算参数a_{1},a_{2},....a_{n} ,b,得到决策分类函数。

那么逻辑回归同时也可以应用到多分类问题中,在多分类问题中,采用one vs all的方法,比如是三分类问题有A,B,C 三类,首先把A当做一类,余下的B,C当做一类训练一个分类器,然后将B当做一列,然后将A,C当做一类训练一个分类器;最后将C当做一类,将A,B当做一类训练一个分类器,从而实现多分类问题的识别。

 

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页