6.神经网络剖析

最新推荐文章于 2024-02-13 21:22:40 发布

好名字能更容易让朋友记住

最新推荐文章于 2024-02-13 21:22:40 发布

阅读量356

点赞数 2

分类专栏： Python深度学习文章标签：神经网络深度学习人工智能

本文链接：https://blog.csdn.net/qq_48981632/article/details/125872801

版权

Python深度学习专栏收录该内容

18 篇文章 0 订阅

订阅专栏

神经网络剖析

训练神经网络主要围绕以下四个方面：

层，多个层组合成网络（或模型）。
输入数据和对应的目标。
损失函数，即用于学习的反馈信号。
优化器，决定学习过程如何进行。

在这里插入图片描述

由上图可以看出来：多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。

层：深度学习的基础组件

神经网络的基本数据结构是层。层是一个数据处理模块，即将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大部分的层都是有状态的，即层的权重。（权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识）。

不同张量格式与不同的数据处理类型需要用到不同的层。比如：

简单的向量数据保存在形状为（samples，fetures）的2D张量中，通常用密集链接层（也叫全连接层，或密集层），对于Keras的Dense层来处理。（samples即样本轴，fetures即特征轴）
序列数据保存在形状为（samples，timesteps，fetures）的3D张量中，通常用循环层（比如Keras的LSTM层）来处理。
图像数据保存在4D张量中，通常用二维卷积层（Keras的Conv2D来处理）。

在Keras中，构建深度学习模型就是将互相兼容的多个层拼接在一起，以简历有用的数据变换流程。具体指的是每一层只接收特定形状的输入张量，并返回特定形状的输出张量。

举以下这个例子：
from keras import layers

layer = layers.Dense(32, input_shape=(784,))
# 有32个输出单元的密集层。
创建一个只接受第一个维度大小为784的2D张量（第0轴是批量维度，其大小没有指定，因此可以任意取值）作为输入张量。这个层将返回一个张量，第一个维度的大小变成了32。

因此，这个层后面只能连接一个接收32维向量作为输入的层。在使用Keras时，你无需担心兼容性，因为向模型中添加的层都会自动匹配输入层的形状。
form keras import models
form keras import layers

model = models.Sequentual()
model.add(layers.Dense(32, input_shape=(784,)))
model.add(layers.Dense(32))
其中第二层没有输入形状（input_shape）的参数，相反，它能够自动推导出输入形状等于上一层的输出形状。

模型：层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射为单一输出。还有其他的网络拓扑结构：

双分支（two-branch）网络
多头（multihead）网络
Inception模块

网络的拓扑结构定义了一个假设空间。机器学习的定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。在选定好了网络拓扑结构，意味着将**可能性空间（即假设空间）**限定为一系列特定的张量运算，将输入数据映射为输出数据。然后，需要为这些张量运算的权重张量找到一组合适的值。