零、引言
感知机,也叫单层神经网络,是最基础的神经网络模型结构。
神经网络模型由生物神经中得到启发。在生物神经元细胞中,神经突触接收到信号,经过接收并处理信号后判断信号的信息强弱,来做出不同神经电位变化反应。受此启发,科研人员设计出基础的神经网络模型结构,神经元模型(Neuron Model)。
一、神经元模型
下图为一个最简单的“M-P神经元结构”,该模型1943年提出,并一直沿用至今:
从模型示意图看,对于一个单一的神经元模型,其中为该模型的输入数据;为神经元模型计算参数,与输入数据维度一一对应,用于反应输入数据各维度的权重;表示神经元输出阈值,通常用于控制神经元是否输出结果或修正输出结果;为神经元模型的输出结果,计算方式如下公式:
其中,函数用于将函数值映射至区间(主要)或(部分),通常称为激活函数(activation function)。常用的激活函数包括; 等。常用的激活函数及性质会在后续单独总结。
通常来说,多个神经元模型按次序排列即是一个简单的神经网络模型。
二、感知机
1. 单层感知机的定义
周志华老师的西瓜书上对于感知机的定义为:“感知机由两层神经元组成,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元。也称为阈值逻辑单元(threshold logic unit)”。以下为一个单层感知机模型示意图
其中,其中为输入层接收到的的输入数据;为输出层M-P神经元模型计算参数。
当输入层接收到的输入数据维度为2时,通过不同的权重及阈值配比感知机可以实现逻辑的“与”、“或”、“非”运算。经过训练数据集的训练,感知机可以自动地学习到阈值及权重。
2. 单层感知机的学习
一般地,给定数据集,感知机的权重及阈值可以通过学习得到。由
输出计算函数,我们将阈值的看做原始输入数据维度增加一维,该为输入值恒为-1,增加对应需要学习的权重为(即,),如此即可将权重和阈值统一到了权重的学习。为了方便理解,给出一个例子,假设原本输入数据为, 实际的输入数据改为。
感知机的参数学习过程如下:
其中,,,称为学习率,用于调控模型的学习进度;为输入数据对应的真实值;为当前学习步骤中感知机的输出结果。若模型输出结果同真实值相同,则权重不发生变化;当模型预测值同真实值差距越大,则权重调整的幅度越大。
3. 单层感知机的不足
单层感知机能够经过简单地 学习实现输入值得“与”、“或”和“非”运算,但是单层感知机只能实现线性可分的数据学习(存在一个超平面使得数据分开),当线性不可分时单层感知机便无法处理。如“异或”操作,单层感知机即无法实现。
为了能够使得感知机的适应范围更广,可以将多个感知机进行连接,构成多层感知机模型来适应更复杂的任务。多层感知机模型也被称作人工神经网络(Artificial Neuron Network,ANN),将在下一篇进行介绍。
注:该部分学习主要来自周志华老师的西瓜书。部分理解存在问题欢迎指出。