机器学习基础-学习笔记 概率论

概率论

在机器学习的领域中，经常使用后验概率来实现执果索引的目的，常用的公式表述为：

$$P(X | Y) = \frac{P(Y | X)P(X)}{\sum\limits_XP(Y|X)P(X)}$$

$$P(Y) = \sum\limits_XP(Y|X)P(X$$

其中，P(X | Y) 为随机事件Y发生的前提下，随机事件X发生的概率，也成为后验概率，P（X）为先验项或先验概率，P（Y | X）为似然项，P（Y）为随机变量Y的先验概率或边缘概率，也成为标准化常量。

参数估计

最大似然估计

针对模型已定，参数未知，提供了一种给定数据来评估模型参数的方法。

假设数据集$x_1, x_2, \dots x_N$ 为独立同分布的采样，f为已知的模型（如服从高斯分布，拉普拉斯分布等），$\theta$ 为模型的参数。

根据独立同分布的假设：

$$P(x_1, x_2, \dots x_N | \theta) = \prod\limits_{i = 1}^N P(x_i | \theta)$$

其似然函数的定义为：

$$L(\theta | x_1, x_2, \dots x_N) = \prod\limits_{i = 1}^N P(x_i | \theta)$$

参数 $\theta$的最大似然估计是通过最大化似然函数，使得求出的 $\theta$值与实际观察中的训练样本最相符，即

$$\max\limits_{\theta}{L(\theta | x_1, x_2, \dots x_N)}$$

实际应用中，常利用最大化平均对数似然，即

$$\theta^* = arg \max\limits_{\theta \in \theta} {\frac{ln(L(\theta | x_1, x_2, \dots x_N))}{N}} = \frac{\sum\limits_{i=1}^Nln(P(x_i | \theta))}{N}$$

需要注意的是，最大似然估计只是参数估计的一种方法，通过若干次独立同分布的实验，观察其结果，利用结果推算出参数的大概值。

分类

对于分类问题也可以用最大似然估计来进行优化，考虑到计算问题，我们竟然使用最小化负对数似然损失函数，级$\{x_i, j_i\}_{i=1}^N$。其中$x_i \in R^n$ 为输入，输入目标为 $y_i \in \{ 1, 2, \dots, C \}$， 学习模型为$y = f(x, \theta)$ ，由于目标为离散的类别，所以通过计算输出每个类的条件概率来界定损失函数，即

$$f_c(x, \theta) = P(y = c | x, \theta), c = 1, 2, \dots, C$$

$$\sum\limits_{c = 1}^Cf_c(x, \theta) = 1$$

$$f_c(x, \theta) \in [0, 1]$$

得到的负对数似然函数为：

$$l(y, f(x, \theta)) = - \sum\limits_{c = 1}^Cy_clogf_c(x, \theta)$$

进一步，最终的目标函数为：

$$\max\limits_{\theta}{L(\theta) = \frac{\sum\limits_{i = 1}{N}l(y_i, f(x_i, \theta))}{N}}$$

通常这种方法也被称为交叉熵损失函数