本文深入探讨了在神经网络中重要的Softmax函数，解释了其在多元逻辑回归中的应用，以及如何通过softmax转换逻辑回归的损失函数。文章还提到了softmax函数与sigmoid函数的相似性，并展示了如何在图模型中表示逻辑回归，便于理解和应用于神经网络。
一、 Softmax函数与多元逻辑回归
为了之后更深入地讨论神经网络，本节将介绍在这个领域里很重要的softmax函数，它常被用来定义神经网络的损失函数（针对分类问题）。
根据机器学习的理论，二元逻辑回归的模型公式可以写为如下的形式：
(1) P ( y = 1 ) = 1 1 + e − X W T + b P(y = 1) = \frac{1}{1 + e^{-XW^T + b}} \tag{1} P(y=1)=1+e−XWT+b1(1)
在公式（1）中，对分子、分母同时乘以，得到公式（2），其中， W 0 = W 1 − W W_0 = W_1 - W W0=W1−W； b 0 = b 1 − b b_0 = b_1 - b b0=b1−b。
(2) P ( y = 1 ) = e X W 1 T + b 1 e X W 0 T + b 0 + e X W 1 T + b 1 P ( y = 0 ) = e X W 0 T + b 0 e X W 0 T + b 0 + e X W 1 T + b 1 P(y = 1) = \frac{e^{XW_1^T + b_1}}{e^{XW_0^T + b_0} + e^{XW_1^T + b_1}}\\ P(y = 0) = \frac{e^{XW_0^T + b_0}}{e^{XW_0^T + b_0} + e^{XW_1^T + b_1}}\tag{2} P(y=1)=eXW0T+b0+eXW1T+b1eXW1T+b1
最低0.47元/天 解锁文章
516
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
