《机器学习实战》学习总结（四）逻辑回归原理

概述

逻辑回归要求数据类型为数值型。

逻辑回归与线性回归的区别：

逻辑回归的迭代过程就是为每个特征寻找一个系数，这些系数也叫做回归系数，如果直接计算∑θixi那么就是线性回归，要转化为逻辑回归，则需要将上述值通过sigmoid函数，即sigmiod（∑θixi），将一个连续值转化为一个概率值，从而根据门限判定所属的类别。

逻辑回归模型：

最简单的逻辑回归模型∑θixi即将mapFeature（xi）与回归系数（θi）做点乘并求和得到估计值（θ0+θ1x1+θ2x2+…+θnxn），估计值再通过sigmoid转化为概率值，并与门限比较可以获得分类结果。其中mapFeature也可以是其它多项式形式，从而构建出复杂的逻辑回归模型如（假设只有两个特征：θ0+θ1x1+θ2x2+θ3x1*x2+θ4x1*x1+θ4x2*x2），当然此时表达式是非线性的，但可以模拟更复杂的分类边界（分类超平面，大于2维的特征）

逻辑回归建模过程

1、符号

特征	x1	x2	x3	…	x1
加权值	Θ1	Θ2	Θ3	…	Θn

建模的过程，是已知一堆样本（矩阵X以及Label向量Y求解Θ向量的过程）

如下样本矩阵表示有三个样本，且每个样本可以用三个特征表示

2、公式列表

预测过程

假设逻辑回归模型中的θ已经全部都计算得到，则对于给定的新的一个输入[x1,x2,x3,…,xn]，可以预测其属于哪个类别

判决为类别A，if  sigmiod（θ0+θ1x1+θ2x2+…+θnxn）>0.5

判决为类别B，if  sigmiod（θ0+θ1x1+θ2x2+…+θnxn）<0.5

参考：http://blog.csdn.net/han_xiaoyang/article/details/49123419