正则化对深层神经网络的影响分析

本文是基于吴恩达老师《深度学习》第二周第一课练习题所做，目的在于探究参数初始化对模型精度的影响。

一、数据处理

本文所用第三方库如下，其中reg_utils 和 testCases_regularization为辅助程序从这里下载。

import numpy as np
import matplotlib.pyplot as plt
from reg_utils import *
import sklearn
import sklearn.datasets
import scipy.io
from testCases_regularization import *

本次课程中使用了一个比较有趣的例子：使用人工智能的方法为一支足球队做技术分析，为队员预测头球破门率最高的位置。

下图给出了过去十场比赛中，该队与对手抢得头球点的数据集

蓝色点表示本队抢到头球时队员所在的位置，红点表示对手抢到头球时所在的位置。本文的任务是建立深层神经网络对该数据集进行训练，为了分析正则化对构建神经网络的作用，我们分别构建无正则化模型、L2正则化模型和dropout模型，并对三者的结果进行对比研究。

二、深层神经网络模型