神经网络的成本函数

让我们首先定义一些需要用到的变量：

 

L:神经网络的层数；

S_l：第l层神经网络节点数量；

K：神经网络输出层节点数；

 

回想一下，在神经网络中，我们可能有许多输出节点。我们H_Θ^(x)_k表示一个假设的结果在第k个输出节点的输出。

我们的神经网络的成本函数将是我们用于逻辑回归的一个推广。回顾正规logistic回归的代价函数是：

 

对于神经网络，它会稍微复杂一些：

 

我们已经添加了一些嵌套和说明我们的多个输出节点。在方程的第一部分，在方括号之前，我们有一个额外的嵌套求和，它通过输出节点的数量循环。

 

在正则化部分，在方括号之后，我们必须考虑多个θ矩阵。我们当前θ矩阵中的列数等于当前层（包括偏置单元）中的节点数。我们当前θ矩阵中的行数等于下一层中的节点数（不包括偏置单元）。和以前一样，逻辑回归，我们每个术语都是平方的。

 

Note:

• the double sum simply adds up the logistic regression costs calculated for each cell in the output layer
• the triple sum simply adds up the squares of all the individual Θs in the entire network.
• the i in the triple sum does not refer to training example i

转载于:https://www.cnblogs.com/zhengzhe/p/7325572.html