【神经网络】{9} ——神经网络参数的展开

前面分析了怎样使用反向传播算法计算代价函数的导数。

此处分析一个细节的实现过程：怎样把参数从矩阵展开成向量，以便在高级最优化步骤中的使用需要。

---

具体来讲，我们执行了代价函数，输入参数是 theta，函数返回代价值以及导数值：

然后我们可以将返回值传递给高级最优化算法 fminunc：

当然 fminunc 并不是唯一的算法

fminunc 的功能是取出这些输入值，即 @costFunction 以及 theta 值的一些初始值，并且这些程序都假定 theta 和这些 theta 初始值都是参数向量。同时假定代价函数的第二个返回值，也就是梯度值，也是一个向量。

---

这部分在使用逻辑回归的时候没有问题，但现在用神经网络，参数不再是向量了，而是矩阵了。

因此对于一个完整的神经网络，参数矩阵为θ^(1)、θ ^(2)、θ ^(3)，在Octave中可以设为矩阵Theta1、Theta2、Theta3。
同样地这些梯度项也是需要得到的返回值，在Octave中用矩阵D1、D2、D3来表示：

---

接下来分析怎样取出这些矩阵，并且将它们展开成向量，以便它们最终成为恰当的格式，能够传入这里的 Theta，并且得到梯度返回值 gradient：

---

具体来说，假设我们有这样一个神经网络：

输入层有10个输入单元，隐藏层有10个单元，输出层只有一个输出单元。

在这种情况下，矩阵θ和矩阵D的维度，将由这些表达式确定：

实际上，这里多出来一个θ和D矩阵

---

因此，在Octave中，如果想在矩阵和向量之间来回转化，那么要做的是取出 Theta1、Theta2、Theta3，然后使用这段代码：

这段代码将取出三个θ矩阵中的所有元素，然后把它们全部展开，成为一个很长的向量，也就是 thetaVec。

同样地，第二段代码

将取出D矩阵的所有元素，然后展开成一个长向量，叫做DVec。

最后，如果想从向量表达返回到矩阵表达式的话，使用这些代码：

即抽出元素，执行reshape命令。

---

以下是这一过程的Octave演示：

---

为了使这个过程更具体，下面来看怎样将这一方法应用于我们的学习算法：

假设有一些初始参数值(矩阵) θ^ (1)、θ^ (2)、θ^ (3)，我们要做的是取这些参数，然后把它们展开为一个长向量，称之为 initialTheta，然后作为 theta 参数的初始设置传入优化函数 fminunc：

我们要做的另一件事是实现代价函数，代价函数实现算法如下：

接下来逐步分析上面这些步骤：

---

首先，代价函数会得到输入参数 thetaVec，它包含了所有的参数向量，所有的参数都展开成一个向量的形式：

因此要做的第一件事是，使用 thetaVec 和重组函数 reshape，抽出 thetaVec 中的元素，然后重组以得到初始参数矩阵θ^ (1)、θ^ (2)、θ^ (3)：

（变成矩阵有助于前向传播和反向传播）

这样就有了一个使用这些矩阵的更方便的形式，因此就能执行前向传播和反向传播来计算出导数以及计算代价函数J(θ)：

最后可以取出这些导数值，然后展开（unroll）它们，让它们保持和我们展开的θ值同样的顺序，展开D1、D2、D3来得到 gradientVec：

这个值可由代价函数返回：

它可以以一个向量的形式返回这些导数值。

---

现在我们对怎样进行参数的矩阵表达式和向量表达式之间的来回转换有了一个更清晰的认识。

- 使用矩阵表达式的好处是，当你的参数以矩阵的形式储存时，你在进行前向传播和反向传播时，会觉得更加方便，当你将参数储存为矩阵时，也更容易充分利用向量化实现。

- 相反地，向量表达式的优点是，如果你有像 thetaVec 或者 DVec 这样的矩阵，当你使用一些高级的优化算法时，这些算法通常要求把所有的参数要展开成一个长向量的形式。

---

因此我们可以根据需要，轻松地在两种形式之间转换。

---

参考资料：吴恩达机器学习系列课程