【深度学习】嘿马深度学习笔记第6篇：神经网络与tf.keras,学习目标【附代码文档】

程序员一诺python

于 2024-08-28 21:18:00 发布

阅读量674

点赞数 9

分类专栏：深度学习教程 python教程爬虫教程文章标签：深度学习 python 人工智能算法 python

本文链接：https://blog.csdn.net/m0_72919230/article/details/141650224

版权

python教程同时被 3 个专栏收录

79 篇文章 1 订阅

订阅专栏

爬虫教程

79 篇文章 0 订阅

订阅专栏

深度学习教程

7 篇文章 0 订阅

订阅专栏

本教程的知识点为：深度学习介绍 1.1 深度学习与机器学习的区别 TensorFlow介绍 2.4 张量 2.4.1 张量(Tensor) 2.4.1.1 张量的类型 TensorFlow介绍 1.2 神经网络基础 1.2.1 Logistic回归 1.2.1.1 Logistic回归 TensorFlow介绍总结每日作业神经网络与tf.keras 1.3 神经网络基础神经网络与tf.keras 1.3 Tensorflow实现神经网络 1.3.1 TensorFlow keras介绍 1.3.2 案例：实现多层神经网络进行时装分类神经网络与tf.keras 1.4 深层神经网络为什么使用深层网络 1.4.1 深层神经网络表示卷积神经网络 3.1 卷积神经网络(CNN)原理为什么需要卷积神经网络原因之一：图像特征数量对神经网络效果压力卷积神经网络 3.1 卷积神经网络(CNN)原理为什么需要卷积神经网络原因之一：图像特征数量对神经网络效果压力卷积神经网络 2.2案例：CIFAR100类别分类 2.2.1 CIFAR100数据集介绍 2.2.2 API 使用卷积神经网络 2.4 BN与神经网络调优 2.4.1 神经网络调优 2.4.1.1 调参技巧卷积神经网络 2.4 经典分类网络结构 2.4.1 LeNet-5解析 2.4.1.1 网络结构卷积神经网络 2.5 CNN网络实战技巧 2.5.1 迁移学习(Transfer Learning) 2.5.1.1 介绍卷积神经网络总结每日作业商品物体检测项目介绍 1.1 项目演示商品物体检测项目介绍 3.4 Fast R-CNN 3.4.1 Fast R-CNN 3.4.1.1 RoI pooling YOLO与SSD 4.3 案例：SSD进行物体检测 4.3.1 案例效果 4.3.2 案例需求商品检测数据集训练 5.2 标注数据读取与存储 5.2.1 案例：xml读取本地文件存储到pkl 5.2.1.1 解析结构

完整笔记资料代码：https://gitee.com/yinuo112/AI/tree/master/深度学习/嘿马深度学习笔记/note.md

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

神经网络与tf.keras

1.4 深层神经网络

学习目标

目标
了解深层网络的前向传播与反向传播的过程
应用
无

为什么使用深层网络

对于人脸识别等应用，神经网络的第一层从原始图片中提取人脸的轮廓和边缘，每个神经元学习到不同边缘的信息；网络的第二层将第一层学得的边缘信息组合起来，形成人脸的一些局部的特征，例如眼睛、嘴巴等；后面的几层逐步将上一层的特征组合起来，形成人脸的模样。随着神经网络层数的增加，特征也从原来的边缘逐步扩展为人脸的整体，由整体到局部，由简单到复杂。层数越多，那么模型学习的效果也就越精确。

通过例子可以看到，随着神经网络的深度加深，模型能学习到更加复杂的问题，功能也更加强大。

1.4.1 深层神经网络表示

1.4.1.1 什么是深层网络？

使用浅层网络的时候很多分类等问题得不到很好的解决，所以需要深层的网络。

1.4.2 四层网络的前向传播与反向传播

在这里首先对每层的符号进行一个确定，我们设置L为第几层，n为每一层的个数，L=[L1,L2,L3,L4],n=[5,5,3,1]

1.4.2.1 前向传播

首先还是以单个样本来进行表示,每层经过线性计算和激活函数两步计算

$z^{[1]} = W^{[1]}x+b^{[1]}, a^{[1]}=g^{[1]}(z^{[1]})$ , 输入 $x$ , 输出 $a^{[1]}$

$z^{[2]} = W^{[2]}a^{[1]}+b^{[2]}, a^{[2]}=g^{[2]}(z^{[2]})$ ,输入 $a^{[1]}$ , 输出 $a^{[2]}$

$z^{[3]} = W^{[3]}a^{[2]}+b^{[3]},a^{[3]}=g^{[3]}(z^{[3]})$ , 输入 $a^{[2]}$ , 输出 $a^{[3]}$

$z^{[4]} = W^{[4]}a^{[3]}+b^{[4]},a^{[4]}=\sigma(z^{[4]})$ , 输入 $a^{[3]}$ , 输出 $a^{[4]}$

我们将上式简单的用通用公式表达出来， $x = a^{[0]}$

$z^{[L]} = W^{[L]}a^{[L-1]}+b^{[L]}, a^{[L]}=g^{[L]}(z^{[L]})$ , 输入 $a^{[L-1]}$ , 输出 $a^{[L]}$

m个样本的向量表示

$Z^{[L]} = W^{[L]}A^{[L-1]}+b^{[L]}$

$A^{[L]}=g^{[L]}(Z^{[L]})$

输入 $a^{[L-1]}$ , 输出 $a^{[L]}$

1.4.2.2 反向传播

因为涉及到的层数较多，所以我们通过一个图来表示反向的过程

反向传播的结果（理解）

单个样本的反向传播：

$dZ^{[l]}=\frac{dJ}{da^{[l]}}\frac{da^{[l]}}{dZ^{[l]}}=da^{[l]}*g^{[l]}{'}(Z^{[l]})$

$dW^{[l]}=\frac{dJ}{dZ^{[l]}}\frac{dZ^{[l]}}{dW^{[l]}}=dZ^{[l]}\cdot a^{[l-1]}$

$db^{[l]}=\frac{dJ}{dZ^{[l]}}\frac{dZ^{[l]}}{db^{[l]}}=dZ^{[l]}$

$da^{[l-1]}=W^{[l]T}\cdot dZ^{[l]}$

多个样本的反向传播

$dZ^{[l]}=dA^{[l]}*g^{[l]}{'}(Z^{[l]})$

$dW^{[l]}=\frac{1}{m}dZ^{[l]}\cdot {A^{[l-1]}}^{T}$

$db^{[l]}=\frac{1}{m}np.sum(dZ^{[l]},axis=1)$

$dA^{[l]}=W^{[l+1]T}\cdot dZ^{[l+1]}$

1.4.3 参数与超参数

1.4.3.1 参数

参数即是我们在过程中想要模型学习到的信息（模型自己能计算出来的），例如 W[l]W[l]，b[l]b[l]。而超参数（hyper parameters）即为控制参数的输出值的一些网络信息（需要人经验判断）。超参数的改变会导致最终得到的参数 W[l]，b[l] 的改变。

1.4.3.2 超参数

典型的超参数有：

学习速率：α
迭代次数：N
隐藏层的层数：L
每一层的神经元个数：n[1]，n[2]，...
激活函数 g(z) 的选择

当开发新应用时，预先很难准确知道超参数的最优值应该是什么。因此，通常需要尝试很多不同的值。应用深度学习领域是一个很大程度基于经验的过程。

1.4.3.3 参数初始化

为什么要随机初始化权重

如果在初始时将两个隐藏神经元的参数设置为相同的大小，那么两个隐藏神经元对输出单元的影响也是相同的，通过反向梯度下降去进行计算的时候，会得到同样的梯度大小，所以在经过多次迭代后，两个隐藏层单位仍然是对称的。无论设置多少个隐藏单元，其最终的影响都是相同的，那么多个隐藏神经元就没有了意义。

在初始化的时候，W 参数要进行随机初始化，不可以设置为 0。b 因为不存在上述问题，可以设置为 0。

以 2 个输入，2 个隐藏神经元为例：

W = np.random.rand(2,2)* 0.01
b = np.zeros((2,1))

初始化权重的值选择

这里将 W 的值乘以 0.01（或者其他的常数值）的原因是为了使得权重 W 初始化为较小的值，这是因为使用 sigmoid 函数或者 tanh 函数作为激活函数时，W 比较小，则 Z=WX+b 所得的值趋近于 0，梯度较大，能够提高算法的更新速度。而如果 W 设置的太大的话，得到的梯度较小，训练过程因此会变得很慢。

ReLU 和 Leaky ReLU 作为激活函数时不存在这种问题，因为在大于 0 的时候，梯度均为 1。