【神经网络】{5} ——神经网络的代价函数

此处开始谈论一个学习算法，它能在给定训练集时，为神经网络拟合参数。
和我们讨论的大多数学习算法一样，我们将从拟合神经网络参数的代价函数开始讲起。
重点讲解神经网络在分类问题中的应用。

---

假设我们有一个与上图类似的神经网络结构：

再假设我们有一个像这样的训练集：

其中有m组训练样本 $(x^{(i)},y^{(i)})$。

用大写字母 $L$ 来表示这个神经网络结构的总层数。（对于上图的网络结构，能够得出 $L=4$。）

接着用 $s_l$ 来表示第 $l$ 层的单元数，也就是神经元的数量，这其中不包括第 $L$ 层的偏差单元。

---

我们将会考虑两种分类问题：

• 第一种是二元分类：
  

上面那个神经网络有四个输出单元，如果遇到二元分类问题的话，就会只有一个输出单元，也就是计算出来的 $h(x$)，同时神经网络的输出结果 $h(x)$ 会是一个实数。

在这种情况下，若 $l$ 代表最后一层的序号，则 $s$