逻辑回归

逻辑回归 Logistic Regression

逻辑回归：解决分类问题
回归问题怎么解决分类问题？
将样本的特征和样本发生的概率联系起来，概率是一个数

$\hat{y}=f(x)$
$\hat{p}=f(x)$

逻辑回归既可以看做是回归问题，也可以看做是分类问题，通常作为分类算法用，只可以解决二分类问题。

绘制 $\sigma$ 函数

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(t):
    return 1/(1+np.exp(-t))

x = np.linspace(-10,10,500)
y = sigmoid(x)

plt.plot(x,y)
plt.show()

图中可以看出：

$\sigma (t)=\frac{1}{1+e^{-t}}$ 的值域（0，1）
t > 0时， p>0.5
t <0 时，p <0.5

所以
$$\hat{p}=\sigma ({\theta }^T\cdot X_b)=\frac{1}{1+e^{-{\theta }^T\cdot x_b}}$$

$$\hat{y}=\{\begin{array}{ll}1,& \hat{y}\ge 0.5\\ 0,& \hat{y}\le 0.5\end{array}$$

问题：
对于给定的样本数据集X,y
我们如何找到参数 $\theta$,使得用这样的方式，
可以最大程度获取样本数据集X对应的分类输出y

$$cost=\{\begin{array}{l}如果y=1,p越小，cost越大\\ 如果y=0,p越大，cost越大\end{array}$$
$\downarrow$
$$cost=\{\begin{array}{ll}-log(\hat{p}),& 如果y=1\\ -log(1-\hat{p}),& 如果y=0\end{array}$$

最大似然

最大似然估计就是利用已知的样本结果，反推能导致这样结果最大概率的一组参数值。举例：假设一个袋子中只装有未知数的黑球和白球，现在有放回的随机抽取球，做了一次测试，这次测试中抽取了10次，结果其中8次抽到了黑球，2次抽到了白球，假设抽到黑球的概率是p,那么抽到8次黑球和2次白球的概率为：$P=p^8\ast (1-p{)}^2$,现在要求p是多少？
这里已经有了抽样10次，抽到了8次黑球，2次白球的样本结果，那么导致结果P最大概率下的p就是抽到黑球的概率。这里的思想就是最大似然思想。

损失函数

根据最大似然估计可知，由已知的样本结果(各个维度的值和分类的类别)，反推导致这样结果出现最大概率的一组参数值($\theta$)，可以取似然函数为：
$L(\theta )={\prod }_{(i=1)}^{m}P(y^{}$