深度学习笔记(4) - 神经网络结构

神经网络结构

神经网络结构主要包含以下几个方面：

层： 多个层组合成网络（或模型）
输入数据和对应的目标： 训练的数据包含标签数据
损失函数： 判断当前模型的质量程度
优化器： 用于更新网络的参数

多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。

层：深度学习的基础组件

神经网络的基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。

• 无状态的层：比如池化，没有权重参数
• 有状态的层：比如dense,Conv2D，有权重参数

根据处理的张量数据不同分类：

• 全连接层（fully connected layer）：密集连接层（densely connected layer）/密集层(dense layer):简单的向量数据保存在形状为 (samples, features) 的 2D 张量。对应于 Keras 的 Dense 类
• 循环层（recurrent layer）：序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中， Keras 的 LSTM 层
• 卷积层：图像数据保存在 4D 张量中，Keras 的 Conv2D

层兼容性（layer compatibility）具体指的是每一层只接受特定形状的输入张量，并返回特定形状的输出张量。

from keras import models
from keras import layers

model = models.Sequential()
# 只接受特定形状的输入张量
model.add(layers.Dense(32,input_shape(784,)))
# 模型中添加的层都会自动匹配输入层的形状
model.add(layers.Dense(32))

模型：层构成的网络

常见的网络：

• 双分支（two-branch）网络
• 多头（multihead）网络
• Inception 模块

网络的拓扑结构定义了一个假设空间（hypothesis space）：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。
选定了网络拓扑结构，意味着将可能性空间（假设空间）限定为一系列特定的张量运算，将输入数据映射为输出数据。然后，你需要为这些张量运算的权重张量找到一组合适的值。

损失函数与优化器：配置学习过程的关键

• 损失函数： 在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
• 优化器：决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。

如果目标函数与成功完成当前任务不完全相关，那么网络最终得到的结果可能会不符合你的预期。对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选择正确的损失函数。

• 对于二分类问题，你可以使用二元交叉熵（binary crossentropy）损失函数；
• 对于多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；
• 对于回归问题，可以用均方误差（mean-squared error）损失函数；
• 对于序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数。

---

分享关于人工智能，机器学习，深度学习以及计算机视觉的好文章，同时自己对于这个领域学习心得笔记。想要一起深入学习人工智能的小伙伴一起结伴学习吧！扫码上车！