神经网络学习

1. 定义

   • 神经网络（Neural Network）是一种模拟生物神经网络（如人类大脑中的神经元网络）结构和功能的计算模型。它由大量的人工神经元（节点）相互连接而成，通过调整这些连接的权重来学习输入数据和输出结果之间的关系，从而实现对数据的处理和分类、预测等任务。

2. 基本结构

   • 神经元（Neuron）
     • 神经元是神经网络的基本单元。它接收多个输入信号，这些输入信号通过带有权重（Weight）的连接传递到神经元。神经元将这些输入信号与权重相乘后求和，再加上一个偏置（Bias）项，然后通过一个激活函数（Activation Function）处理，产生输出信号。例如，假设有三个输入信号、、，对应的权重为、、，偏置为，那么神经元的输入总和为。然后经过激活函数得到输出。
   • 层（Layer）
     • 神经网络通常由多个层组成。最常见的有输入层（Input Layer）、隐藏层（Hidden Layer）和输出层（Output Layer）。
     • 输入层接收原始数据，例如在图像识别中，输入层的神经元数量可能与图像的像素数量相对应。
     • 隐藏层位于输入层和输出层之间，它对输入数据进行特征提取和转换。一个神经网络可以有一个或多个隐藏层，每层包含多个神经元。不同的隐藏层可以学习到不同层次的特征，例如在处理自然语言的神经网络中，前面的隐藏层可能学习到单词的简单语义，后面的隐藏层可能学习到句子的结构和复杂语义。
     • 输出层根据任务产生最终的输出结果。在分类任务中，输出层的神经元数量可能与类别数量相对应，每个神经元的输出代表数据属于该类别的概率；在回归任务中，输出层通常只有一个神经元，输出一个连续的数值。

3. 工作原理（学习过程）

   • 前向传播（Forward Propagation）
     • 数据从输入层开始，依次通过隐藏层，最终到达输出层，这个过程称为前向传播。在这个过程中，每个神经元按照上述的计算方式产生输出，最终得到网络对输入数据的预测结果。
   • 反向传播（Back Propagation）
     • 反向传播是神经网络学习的关键步骤。它基于训练数据和预测结果之间的误差来调整网络中神经元之间连接的权重。首先计算预测结果和真实结果之间的误差，然后将这个误差从输出层反向传播到前面的层。在反向传播过程中，根据误差对每个权重的贡献程度，使用梯度下降（Gradient Descent）等优化算法来更新权重，使得误差逐渐减小。例如，在每次迭代过程中，通过计算误差关于每个权重的导数（梯度），并按照一定的学习率（Learning Rate）更新权重，如，其中是学习率。

4. 常见类型

   • 多层感知机（Multilayer Perceptron，MLP）
     • 这是最基本的一种神经网络结构，由输入层、一个或多个隐藏层和输出层组成，神经元之间全连接，通常用于解决分类和回归问题。
     • 例如，在手写数字识别任务中，MLP 可以接收手写数字图像的像素数据作为输入，通过隐藏层提取特征，最终在输出层输出数字 0 - 9 的分类概率。
   • 卷积神经网络（Convolutional Neural Network，CNN）
     • 主要用于处理具有网格结构的数据，如图像和音频。它通过卷积层提取局部特征，池化层减少数据维度，再结合全连接层进行分类或其他任务。如在人脸识别中，CNN 可以有效提取人脸的五官等特征用于身份识别。
   • 循环神经网络（Recirculating Neural Network，RNN）
     • 它的特点是神经元之间的连接形成循环，能够处理序列数据。在自然语言处理中应用广泛，例如在机器翻译任务中，RNN 可以根据输入句子的顺序，逐个单词处理并生成翻译后的句子，因为它能够记住前面单词的信息，从而更好地理解句子的语义。

神经网络的训练过程是怎样的？

介绍一下神经网络的激活函数

列举一些神经网络的应用案例