1.2.11 【Deep Learning翻译系列】Explanation of Logistic Regression Cost Function 对数几率回归代价函数的说明

视频地址

本视频给出在对数几率回归使用这个成本函数的理由。
在之前的对数几率回归中，预测 $\hat{y}=\sigma ({\omega }^{T}x+b),$
其中， $\sigma (z)=\frac{1}{1+e^{-z}}$ 。
作者对此的解释是： $\hat{y}=P(y=1|x)$ 。 即对于给定的一组输入的特征量 $x$ ，其对应的 $y=1$ 的机会。
另一种说法是，如果 $y=1$ ，那么 $P(y|x)=\hat{y}$ 。
反之，如果如果 $y=1$ ，那么 $P(y|x)=1-\hat{y}$ 。
所以综合考虑这两种情况， $P(y|x)={\hat{y}}^y(1-\hat{y}{)}^{1-y}$ 。

因为 $\log$ 函数是单调递增的，对 $P(y|x)$ 取对数，得到
$$\log P(y|x)=y\log \hat{y}+(1-y)\log (1-\hat{y})=-L(y,\hat{y}),$$这是单个样本的成本函数。

至于在 $M$ 个样本上的整体的损失函数，如果假设训练实例独立抽取或独立同分布（IID），那么，
$$P(training)={\Pi }_{i=1}^{n}P(y^{(i)}|x^{(i)}).$$

所以，如果你想进行最大似然估计，那么最大化 $P(training)$ 与最大化它的对数是等同的。即最大化以下式子：
$$\log P(training)=\sum _{i=1}^n\log P(y^{(i)}|x^{(i)})=-\sum _{i=1}^n-L(y^{(i)},{\hat{y}}^{(i)}).$$

统计学中有一个被称为“极大似然估计”的原理，它选择能够最大化 $\log P(training)$ 的参数。
对数几率回归要最小化的的代价函数 $J(\omega ,b)=\frac{1}{N}{\sum }_{i=1}^n-L(y^{(i)},{\hat{y}}^{(i)})$ 就相当于在各个样本被独立同分布（IID）抽取情况下概率的极大似然估计。