机器学习自学笔记 5

人工神经网络1

人工神经网络(Artificial Neural Networks)是一种模仿人脑中神经元结构的计算模型，用于处理复杂的模式识别任务。其可以用来解决各种各样的问题，包括分类、回归、聚类、推荐系统等。它们由多个层组成，每一层包含许多节点（称为神经元），这些节点通过连接（称为权重）相互连接。

目录

人工神经网络1

MP模型

感知器算法

感知器寻找w,b的方法

多层神经网络

激活函数

---

MP模型

MP模型是早期出现的一种人工神经网络模型，这个模型是现代神经网络的基础，并且在理解神经元如何工作的早期理论中起到了关键作用。

MP模型已经有了人工神经网络的雏形，在后期，人们通过对该模型进行进一步的研究和改善才得以将人工神经网络发展起来。

MP模型的数学表达式为：

其中权重参数w是连接两个神经元之间的数值，代表了输入信号对于输出信号的影响程度；偏置参数b是附加在神经元上的一个额外值，它相当于一个神经元的“基线”输出。即使所有输入为零，偏置也能确保神经元不是总是输出零，允许神经元学习不同的激活区域，提高模型的适应能力。

感知器算法

感知器算法是一种用于二分类问题的线性分类模型，它是最早的人工神经网络模型之一，其基于MP模型进行扩展而提出。

感知器算法中，存在输入

其中xi为输入的训练数据，yi为标签，其值为正负1。

而感知器算法的任务则是找到权重参数w和偏置参数b使得满足下列条件：

若一个训练数据能够满足上述条件，则称其获得了平衡。

感知器寻找w,b的方法

通过这个算法过程去让样本数据逼近平衡点，最终寻找到符合条件的权重参数和偏置参数。只要训练数据是线性可分的，那么感知器算法便一定能够停下来，找到对应的参数。

多层神经网络

感知器算法的提出解决了机器学习中训练数据线性可分时的二分类问题。可是在现实生活中，大多数的机器学习任务却是线性不可分的，感知器算法无法解决这些问题，于是便有了多层神经网络模型。多层神经网络模型是深度学习的基础，通过多层神经网络便可以解决线性不可分的问题。

对于这样一个线性不可分的二分类任务：若样本在三角形以内则输出y>0,否则y<0。构造如下的多层神经网络来实现任务。

三角形由三条直线构成，只有当样本数据全部落在三角形内部时，三条直线对应的方程才能够全部大于0，否则至少有一个不大于0，此处的激活函数为单位阶跃函数。只有当三条直线对应的输出值都大于0时，三者相加通过偏置才能够得到大于0的输出值y,否则输出值y小于0，这样一来，通过构造简单的三层神经网络，便完成了这个线性不可分二分类问题。

激活函数

激活函数在人工神经网络中扮演着至关重要的角色。它们负责引入非线性变换，从而使神经网络能够学习和模拟复杂的非线性关系。若没有激活函数，神经网络就只能学习线性变换，多层神经网络便会退化到一个神经元的感知器模型状态，这极大地限制了它的表示能力和学习能力。