多层感知机（MLP）笔记

多层感知机（Multilayer Perceptron，简称MLP）是一种典型的前馈神经网络。它由多个层次的节点（也称为神经元）组成，其中每一层的节点与下一层的节点全连接。MLP通常包含一个输入层、一个或多个隐藏层以及一个输出层。每个节点使用一个激活函数来处理输入，并输出到下一层。

多层感知机的基本组成部分

1. 输入层（Input Layer）：接收输入数据的特征值。
2. 隐藏层（Hidden Layers）：执行中间计算，通常使用非线性激活函数（如ReLU、Sigmoid、Tanh等）。隐藏层的数量和每层的节点数量可以根据具体问题调整。
3. 输出层（Output Layer）：生成最终输出，激活函数的选择取决于具体任务（如分类、回归等）。

工作原理

每个节点接收来自前一层所有节点的加权和，并通过激活函数处理输出。公式如下：

其中：

•  是输入向量。
• 是权重矩阵。
• 是偏置向量。
• 是激活函数（如ReLU、Sigmoid等）。
• 是输出向量。