吴恩达机器学习课程-作业4-神经网络训练（python实现）

Machine Learning(Andrew) ex4-Neural Networks Learning

椰汁笔记

Neural Networks

• 1.1 Visualizing the data
• 1.2 Model representation

由于本次作业的数据和网络结构和上次的作业相同，因此这两步已经在上次作业中完成，这里不再赘述。

• 1.3 Feedforward and cost function

当前网络的前向传播计算方法
$$\begin{gathered} a^{(1)}=x \\ 向a^{(1)}添加偏执单元a_0^{(1)}=1 \\ {z}^{(2)}={\Theta }^{(1)}{a}^{(1)} \\ {a}^{(2)}=g(z^{(2)}) \\ 向a^{(2)}添加偏执单元a_0^{(2)}=1 \\ {z}^{(3)}={\Theta }^{(2)}{a}^{(2)} \\ {a}^{(3)}=g(z^{(3)})=h_{\theta }(x) \end{gathered}$$
最后利用输出层计算cost
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K[-y_k^{(i)}log((h_{\theta }(x^{(i)}){)}_k)-(1-y_k^{(i)})log(1-(h_{\theta }(x^{(i)}){)}_k)]$$

这里的y需要注意代表的意义

数字	1	2	3	4	5	6	7	8	9	0
对应的向量下标	0	1	2	3	4	5	6	7	8	9

    a1 = X  # (5000,400)
    a1 = np.insert(a1, 0, 1, axis=1)  # (5000,401)
    z2 = a1.dot(theta1.T)  # (5000,25)
    a2 = sigmoid(z2)  # (5000,25)
    a2 = np.insert(a2, 0, 1, axis=1)  # (5000,26)
    z3 = a2.dot(theta2.T)  # (5000,10)
    a3 = sigmoid(z3)  # (5000,10)
    cost = np.mean(np.sum((-y) * np.log(a3) - (1 - y) * np.log(1 - a3), axis=1))
    print(cost)#0.2876291651613189

在封装装成函数时，发现这个其实可以写成一个循环去处理每层。
在传入theta时需要考虑到后面使用高级的优化方法时theta只能是一维向量，所有我们需要在传入多个theta时先展开成一个向量，在内部再恢复

def serialize(thetas):
    """
    将多个参数多维数组，映射到一个向量上
    :param thetas: tuple or list,按顺序存储每层的theta参数，每个为ndarray
    :return: ndarray，一维化的参数向量
    """
    res = np.array([0])
    for t in thetas:
        res = np.concatenate((res, t.ravel()), axis=0)
    return res[1:]


def deserialize(theta):
    """
    将向量还原为多个参数(只适用当前网络)
    :param theta: ndarray,一维化的参数向量
    :return: tuple ,按顺序存储每层的theta参数，每个为ndarray
    """
    return theta[:25 * 401].reshape(25, 401), theta[25 * 401:].reshape(10, 26)

直接使用循环进行计算，每层计算的操作都是先添加偏置单元，再计算z，再计算A。

def not_regularized_cost(thetas, X, y):
    """
    计算非正则化的损失值
    :param theta: ndarray，一维参数向量
    :param X: ndarray,输入层的输入值
    :param y: ndarray,数据的标记
    :return: float,损失值
    """
    for t in deserial