[深度之眼机器学习训练营第四期]神经网络之参数学习

损失函数

为了学习神经网络中的参数，我们要为神经网络模型定义损失函数。回想一下，逻辑回归可以将数据分成正例和负例两类，因此它的损失函数为：
$$J(\theta )=-\frac{1}{n}\sum _{i=1}^n\left[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right]+\frac{\lambda }{2n}\sum _{j=1}^n{\theta }_j^2$$

而对于神经网络模型，其输出层可能有多个神经元，因此我们需要在逻辑回归损失函数的基础上考虑多个类别的问题。假设模型共有$K$个输出层神经元，那么其损失函数为：

$$\begin{array}{c}J(\Theta )=-\frac{1}{n}\sum _{i=1}^n\sum _{k=1}^K[y_k^{(i)}\log ((h_{\Theta }(x^{(i)}){)}_k)+(1\end{array}$$