多层感知机

感知机是由Frank Rosenblatt在1957年提出的，它是神经网络的基础模型

w称为权重：控制输入信号的重要性的参数

b称为偏置：偏置是调整神经元被激活的容易程度参数

感知机是神经网络的基础模型，它能够用于简单的逻辑电路，比如与非门、或门和与门。

感知机的局限性在于它只能表示由一条直线分割的空间，这限制了它在解决复杂问题上的应用。

多层感知机（MLP）是一种前馈神经网络，由输入层、至少一个或多个隐藏层和一个输出层组成。每一层都由多个神经元组成，相邻层的神经元之间有权重连接，并且每个神经元都有一个激活函数来引入非线性。多层感知机通过学习这些权重来实现从输入到输出的复杂映射关系。

激活函数

激活函数在神经网络中扮演着至关重要的角色，它能够将输入信号的总和转换为输出信号。

常见的激活函数包括阶跃函数、Sigmoid函数、Tanh函数和ReLU函数，它们都具备非线性特性，有助于神经网络学习复杂的模式和特征。感知机使用了阶跃函数作为激活函数

激活函数需要具备以下几点性质：

（1） 连续并可导（允许少数点上不可导）的非线性函数。

（2） 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。

（3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

多层感知机通过引入隐藏层和激活函数来实现非线性模型的学习，常用的激活函数有Sigmoid、Tanh和ReLU。此外，Softmax函数通常用于处理多分类问题，而隐藏层数和各个隐藏层的大小则是多层感知机的超参数。

参数更新是指通过前向传播和反向传播计算神经网络中各层的权值和偏置参数，从而使得神经网络能够逐渐调整自身以更好地拟合训练数据。

参数更新 

参数更新是通过前向传播和反向传播计算神经网络中各层的权值和偏置参数，使得神经网络能够逐渐调整自身以更好地拟合训练数据。

前向传播（正向传播） 输入样本－－输入层－－各隐藏层－－输出层 反向传播（误差反传） 输出层——各隐藏层——输入层 计算神经网络参数梯度的方法 修正各层单元的权值

训练误差与泛化误差： 训练误差是指模型在训练数据集上的误差，它反映了模型对已知数据的拟合程度。泛化误差是指模型在新数据集上的误差，它反映了模型对未知数据的预测能力。为了准确评估模型的泛化性能，我们通常需要将数据集划分为训练集、验证集和测试集，其中验证集用于调整模型的超参数，而测试集则用于最终评估模型在未知数据上的表现。较低的训练误差但较高的泛化误差通常意味着模型发生了过拟合。

训练数据集是指用于训练机器学习模型的数据集合，它包含了输入样本和对应的标签。在感知机训练过程中，训练数据集起着至关重要的作用，因为感知机通过学习训练数据集中的样本来调整自身的参数，以实现对输入数据的模式学习和预测能力。

验证数据集是用来评估模型好坏的数据集，通常用于调整模型的超参数，例如学习率、正则化参数等。

测试数据集则是用来最终评估模型在未知数据上的表现。为了准确评估模型的泛化性能，我们需要严格区分训练数据集、验证数据集和测试数据集，避免在模型评估过程中引入不必要的偏差。

过拟合和欠拟合是常见的模型训练问题。

过拟合指模型在训练集上表现良好，但在测试集上表现不佳。

欠拟合则是指模型未能很好地拟合训练数据。

为了应对这些问题，我们需要采取一些优化策略，例如增加数据量、正则化、提前停止训练等。