逐步建立深层神经网络:框架总览和初始化参数
正式入坑ML中的神经网络已经半月有余。目前,主要是以吴恩达的课程基础进行进修,然却力感进度太缓,理解不够透彻,遂萌生了依据其课程《Deeplearning.AI》为基础,使用python逐步建立完成深层神经网络(deep neural network)。
以下是深层神经网络的构建框架:
这里因数据处理是很大的一块,我将放在最后进行处理。所以,先进行初始化参数(initialize_parameters)
初始化参数(INITIALIZE_PARAMETERS)
参数初始化的方法有三种:分别是全零填充(zeros)、随机填充(random)和He填充。因为偏置b可以使用全零填充,而权重W使用全零填充,将导致对称性问题,就此,下面将分别简略讲述三种初始化权重W 方法的特征。
全零填充(zeros)
权重W的初始化值,全为零。代码:
np.zeros()
以下图片是使用全零填充,更新一定轮数的神经网络返回的cost值ÿ