Python学习--Machine-Learning 吴恩达机器学习编程作业 (第四周)

Machine-Learning 编程作业

Programming Exercise 4：Neural Network Learning

神经网络的实现

这部分完成的是利用练习三中的数据，随机初始化参数，从头开始实现手写数字的识别，最终利用我们训练好的模型进行预测，并给出准确率。
步骤分为：
1. 导入数据并可视化
2. 标签向量化
3. 定义前向传播函数
4. 定义代价函数+反向传播函数
5. 初始化参数
6. 用高级函数最小化目标函数
7. 隐藏层可视化

作业文件打包如下： 链接：https://pan.baidu.com/s/1S6-q29v_zYWUXugWAZk-zg 提取码：h20r

导入数据并可视化

首先，这与上一次练习中使用的数据集相同。在ex3data1.mat中有5000个训练示例，其中每个训练示例是20×20像素的数字灰度图像。像素用浮点数表示，表示该位置的灰度强度。所有20×20像素的训练图像都被“展开”成400维矢量，形成了5000×400的矩阵X，其中每一行都是一个手写数字图像的训练示例。训练集的第二部分是包含训练集标签的5000维向量y。数字“0”被标记为“10”，而数字“1”到“9”则被标记为“1”到“9”。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt
from scipy.io import loadmat
import matplotlib
import scipy.optimize as opt
from sklearn.metrics import classification_report

data = loadmat('ex4data1.mat')
X = data['X']
y = data['y']
print(X.shape, y.shape)

#可视化数据部分
def display(x):
    (m, n) = x.shape   #100*400
    width = np.round(np.sqrt(n)).astype(int)
    height = (n / width).astype(int)

    gap = 1  #展示图像间的距离
    display_array = -np.ones((gap + 10 * (width + gap), gap + 10 * (height + gap)))
    # 将样本填入到display矩阵中
    curr_ex = 0
    for j in range(10):
        for i in range(10):
            if curr_ex > m:
                break
            # Get the max value of the patch
            max_val = np.max(np.abs(x[curr_ex]))
            display_array[gap + j * (height + gap) + np.arange(height),
                          gap + i * (width + gap) + np.arange(width)[:, np.n