学习笔记6-ML(classify)-Logistics Regression

1.Logistics Regression

考虑这样一个问题:
当一堆给定的数据集$X$分别只属于class1和class2，那么对于另一个给定测试数据集$x$，$X$不包含$x$，那么$x$中各个数是class1的概率是多少？

1.1 分类的定义及实用情形

在回归问题中，会预测连续值；而在分类问题中，预测离散值。

每个数据点都会获得标注，如类别标签或与数值相关的标签。

1.2 分类的要素

• Model
  对于输入的$x$,带入相应函数，进行分类。
  $$x\to \{\begin{array}{l}g\left(x\right)>0,output=class1\\ else,output=class2\end{array}$$
• loss function
  $$L\left(f\right)=\sum \delta \left(f\left(x^{\left(n\right)}\right)\ne y^{\left(n\right)}\right)$$
• 最优化
  如感知机，SVM等

2. 通过Generative模型得到问题的求解

2.1 前期知识复习及补充

2.1.1 全概率公式及贝叶斯公式

如图所示：

已知两个类别，对于随机取出一个的球x（表颜色），其在class1（C1比如表示蓝色）中的概率计算方法为：
$$P\left(C_1|x\right)=\frac{P\left(x|C_1\right)P\left(C_1\right)}{P\left(x|C_1\right)P\left(C_1\right)+P\left(x|C_2\right)P\left(C_2\right)}$$
取出的x的概率为：
$$P\left(x\right)=P\left(x|C_1\right)P\left(C_1\right)+P\left(x|C_2\right)P\left(C_2\right)$$

对于n个类别则有：
$$P\left(C_1|x\right)=\frac{P\left(x|C_1\right)P\left(C_1\right)}{{\sum }_{i=1}^{n}P\left(x|C_i\right)P\left(C_i\right)}$$
$$P\left(x\right)=\sum _{i=1}^{n}P\left(x|C_i\right)P\left(C_i\right)$$

2.1.2 高维高斯分布

推导过程见：多维高斯分布
$$f_{\mu ,\Sigma }\left(x\right)=\frac{1}{{\left(2\pi \right)}^{D/2}}\frac{1}{|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}\left(x-\mu \right){\Sigma }^{-1}{\left(x-\mu \right)}^T}$$

其中，$x$表示维度为 D 的向量，$\mu$则是这些向量的平均值（不同数据的相同维度计算平均值），$\Sigma$ 表示所有向量$x$的协方差矩阵（反应数据的离散程度）。

以二维为例：
$$\Sigma =\left(\begin{array}{cc}{\sigma }_{11}& {\sigma }_{12}\\ {\sigma }_{21}& {\sigma }_{22}\end{array}\right)=(\begin{array}{cc}{\sigma }_1^2& {\sigma }_{12}\\ {\sigma }_{21}& \end{array}$$