一、 Softmax函数与多元逻辑回归
为了之后更深入地讨论神经网络,本节将介绍在这个领域里很重要的softmax函数,它常被用来定义神经网络的损失函数(针对分类问题)。
根据机器学习的理论,二元逻辑回归的模型公式可以写为如下的形式:
(1) P ( y = 1 ) = 1 1 + e − X W T + b P(y = 1) = \frac{1}{1 + e^{-XW^T + b}} \tag{1} P(y=1)=1+e−XWT+b1(1)
在公式(1)中,对分子、分母同时乘以,得到公式(2),其中, W 0 = W 1 − W W_0 = W_1 - W W0=W1−W; b 0 = b 1 − b b_0 = b_1 - b b0=b1−b。
(2) P ( y = 1 ) = e X W 1 T + b 1 e X W 0 T + b 0 + e X W 1 T + b 1 P ( y = 0 ) = e X W 0 T + b 0 e X W 0 T + b 0 + e X W 1 T + b 1 P(y = 1) = \frac{e^{XW_1^T + b_1}}{e^{XW_0^T + b_0} + e^{XW_1^T + b_1}}\\ P(y = 0) = \frac{e^{XW_0^T + b_0}}{e^{XW_0^T + b_0} + e^{XW_1^T + b_1}}\tag{2} P(y=1)=eXW0T+b0+eXW1T+b1eXW1T+b1