逻辑回归(Logistic Regression) 总结

本文是我在学习了逻辑回归课程之后的总结，文中所阐述的内容仅仅是我个人的理解，如有错误或疏漏，欢迎大家批评指正。

1.逻辑回归的假设函数

在分类问题中，二分类问题有着很重要的地位，例如在判断某人是否得某种病，或者某封邮件是否为垃圾邮件等等的场景中都会用到。考虑二分类问题，对于任意输入，输出结果应该只有两种情况，即 { 0 , 1 } \left\{ 0, 1 \right\} { 0,1} ，我们要找的假设函数 $h(x)$ 需要符合这个标准，由此引入 logistic function:
$$g(z)=\frac{1}{1+e^{-z}}$$
他的函数图像:

假设函数可以写为:
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

让我们来理解一下，假设函数输出的是一个 (0, 1) 之间的数，可以把这个数看作是 $y$ 为 1 的可能性，如果假设函数的输出为 $0.9$，可以认为这一组样本的输出结果为 1 的概率就比较大。由此可以写出下面的式子
$$P(y=1|x;\theta )=h_{\theta }(x)=g({\theta }^{T}x)$$
$$P(y=0|x;\theta )=1-P(y=1|x;\theta )=1-h_{\theta }(x)=1-g({\theta }^{T}x)$$
这两个式子可以合并为一个式子，无论在 $y$ 为 0 或者 1 时都成立:
$$P(y|x;\theta )=h_{\theta }(x{)}^y(1-h_{\theta }(x){)}^{1-y}$$
·

2.最大似然估计(Maximum Likehood Estimation, MLE)

最大似然估计的意思是在模型已经确定的情况下，求解最有可能让这个模型出现的参数，这是一个逆推的过程。常用八个字概括“模型已定，参数未知”。
根据最大似然估计，写出似然函数，通俗来说就是你拿到的这个模型长这样，这件事发生的概率是多少呢，用似然函数来表示:
$$L(\theta )=\prod _{i=1}^m$$