[Machine Learning] 逻辑回归（Logistics Regression）

引言

---

Logistics回归，虽然这个算法从名字上来看是回归算法，但实际上是一个分类算法。

Logistics回归是在线性回归的基础上，使用sigmoid函数，将线性模型$\omega x+b$的结果压缩到$[0,1]$之间，使其有概率意义。

Logistics回归本质仍然是一个线性模型，虽然在线性模型$\omega x+b$的基础上加入sigmoid函数后使其非线性化，但是这个非线性化的作用只是为了分类（Classification），并非为了将样本数据进行特征变换（Feature Transformation），因此，Logistics只能解决线性可分的问题。

Logistics回归属于概率性判别式模型，即：

• Logistics回归模型是具有概率意义的
• Logistics回归并没有对数据的分布进行建模，也就是说，Logistics Regression并不知道数据的具体分布，而是直接将判别函数，或者说是分类超平面求解了出来。（具体可参考《[Machine Learning] 生成模型 & 判别模型（Generative & Discriminative Model）》一文）

思维引导

---

以下内容涉及贝叶斯公式、后验概率等内容，想具体了解可参考《[Machine Learning] 贝叶斯公式 & 全概率公式（Bayes Rule & Total Probability Theorem）》一文

一般来说，分类算法都是求解$p(C_k|x)$，即对于一个新的样本，计算其条件概率$p(C_k|x)$。这个可以看作是一个后验概率，其计算可以基于贝叶斯公式得到：

$$p(C_k|x)=\frac{p(x|C_k)p(C_k)}{{\sum }_{k=1}^{K}p(x|C_k)p(C_k)}$$

其中$p(x|C_k)$是类条件概率密度，$p(C_k)$是类的先验概率。使用这种方法的模型，称为是生成模型，即：$p(C_k|x)$是由$p(x|C_k)$和$p(C_k)$生成的。

尝试生成模型做分类

---

如果有n个特征数为m的样本数据（已分为两类），即：

$$((X^1,y^1),(X^2,y^2),...,(X^n,y^n))$$

其中$X^i=(x_1^i,x_2^i,...,x_m^i)(i=1,2,...,n)$， y i ∈ { 0 , 1 } y^i\in \{0,1\} yi∈{ 0,1}

现在出现了一个新的样本$X$，让你判断这个$X$属于哪一类？（0还是1）

如果我们用生成模型的话，假设CLass 1代表1类，Class 2代表0类，由贝叶斯公式：

$$p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}$$

其实这个上面的这个式子，我们可以试着推导一下，即:

其中，$z=ln\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}$，突然发现，我们一不小心推导出了一个sigmoid函数，但是我们先不管，我们继续用生成模型。

那么现在我们只要确定了$z$中的$P(x|C_1)、P(x|C_2)、P(C_1)、P(C_2)$，我们就可以确定后验概率$p(C_1|x)$。

假设Class 1的数量为$N_1$，Class_2的数量为 N 2