逻辑回归模型的两种定义与参数估计思路

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法，属于判别模型。

#1. 逻辑斯谛回归模型定义

在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中，都有对逻辑斯谛回归模型的介绍，然而二者却对模型有着不同的定义。

##1.1 决策函数
Andrew NG 课程中，对二项逻辑回归模型的决策函数如下：

$$h_{\theta }(x)=g({\theta }^{T}x)$$

$g(z)$ 为Sigmoid函数：
$$y=g(z)=\frac{1}{1+e^{-z}}$$.
其中 $\theta$ 为参数. 当 $z\ge 0$ 时，$0.5\le y<1$; 当 $z<0$ 时，$0<y<0.5$.

$h_{\theta }(x)$ 的取值代表 $y=1$ 的可能性的大小，若 $h$ 大于0.5，那么就取1，如果小于0.5就取0.

##1.2 条件概率分布
统计学习方法中，二项逻辑回归模型是如下函数定义的条件概率分布：

KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ P(Y=1|x)=&\fra…

这里， $x\in {\mathbb{R}}^n$ 是输入， Y ∈ { 0 , 1 } Y\in \{0,1\} Y∈{ 0