逻辑回归（Logistic+Regression）

机器学习算法完整版见fenghaootong-github

逻辑回归（Logistic Regression）

Regression问题的常规步骤为：

• 寻找h函数（即hypothesis）；
• 构造J函数（损失函数）；
• 想办法使得J函数最小并求得回归参数（θ）

构造预测函数h

函数形式为：

$h_\theta (x) = g(\theta^T x) = \frac{1}{1+e^{-\theta^T x}}$

函数$h_\theta(x)$的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

$P(y = 1|x;\theta) = h_\theta(x)$
$P(y = 0|x;\theta) = 1- h_\theta(x)$

构造损失函数J

将上面二式综合起来

$P(y|x;\theta) = (h_\theta(x))^y(1- h_\theta(x))^{1-y}$

取似然函数为：

$L(\theta) = \Pi_{i=1}^{m}P(y_i|x_i;\theta) = \Pi_{i=1}^{m}(h_\theta(x_i))^{y_i}(1- h_\theta(x_i))^{1-y_i}$

对数似然函数为：

$l(\theta) = logL(\theta) = \sum_{i=1}^{m}(y_ih_\theta(x_i)+(1-y_i)(1- h_\theta(x_i)))$

最大似然估计就是求使$l(\theta)$取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。

$J(\theta) = -\frac{1}{m}l(\theta)$

因为乘了一个负的系数-1/m，所以取$J(\theta)$最小值时的θ为要求的最佳参数。

梯度下降法求的最小值

$\theta$更新过程:

$\theta_j:=\theta_j - \alpha \frac{1}{m}\sum_{i=1}^{m}(h_\theta (x_i) - y_i)x_i^j$

逻辑回归（Logistic Regression）经典实例

逻辑回归（Logistic Regression）经典实例