Machine Learning_Logistic Regression&Sigmoid Function的数学推导

• Logistic Regression假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

• Logistic/Sigmoid Function可以通过广义线性模型推导得到。

---

Logistic Regression推导

因为要解决二分类问题，我们利用logistic function将线性模型映射到$(0,1)$之间：

$$h_\theta(x) = g(\theta^Tx) = \frac{1}{1+e^{-\theta^T x}}$$
其中，
$$g(z) = \frac{1}{1+e^{-z}}$$
被称为 logistic function或 sigmoid function。

概率分布表示为：

$$P(y=1 | x;\theta) = h_{\theta}(x) \\ P(y=0 | x;\theta) = 1 - h_{\theta}(x)$$
即:
$$p(y|x;\theta) = h_{\theta}(x)^y (1-h_{\theta}(x))^{1-y}$$

如果有m个训练样本，则最大似然函数为：

L(θ)=∏i=1mp(y(i)|x(i);θ)=∏i=1mhθ(x(i))y(i)(1−hθ(x(i)))1−y(i)<