深度学习笔记（一）——感知机模型（Perceptron Model）

最新推荐文章于 2024-04-01 15:31:51 发布

AD稳稳

最新推荐文章于 2024-04-01 15:31:51 发布

阅读量1.1w

点赞数 7

分类专栏：深度学习 Python NLP 文章标签：学习神经网络深度学习

本文链接：https://blog.csdn.net/ADwenwen/article/details/124783055

版权

Python 同时被 3 个专栏收录

7 篇文章 1 订阅

订阅专栏

深度学习

4 篇文章 10 订阅

订阅专栏

NLP

3 篇文章 0 订阅

订阅专栏

零、引言

感知机，也叫单层神经网络，是最基础的神经网络模型结构。

神经网络模型由生物神经中得到启发。在生物神经元细胞中，神经突触接收到信号，经过接收并处理信号后判断信号的信息强弱，来做出不同神经电位变化反应。受此启发，科研人员设计出基础的神经网络模型结构，神经元模型（Neuron Model）。

一、神经元模型

下图为一个最简单的“M-P神经元结构”，该模型1943年提出，并一直沿用至今：

从模型示意图看，对于一个单一的神经元模型，其中 $\{x_1, x_2,...,x_i,...,x_n\}$ 为该模型的输入数据； $\{\omega_1,\omega_2,...,\omega_i,...,\omega_n \}$ 为神经元模型计算参数，与输入数据维度一一对应，用于反应输入数据各维度的权重； $\theta$ 表示神经元输出阈值，通常用于控制神经元是否输出结果或修正输出结果； $y$ 为神经元模型的输出结果，计算方式如下公式：

$y=f(\sum_{i=1}^{n}\omega_ix_i-\theta)$

其中，函数 $f(\cdot)$ 用于将函数值映射至区间 $[0,1]$ （主要）或 $[-1,1]$ （部分）， $f(\cdot)$ 通常称为激活函数（activation function）。常用的激活函数包括 $Sigmoid(x)=\frac{1}{1+e^{-x}}$ ; $Tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$ 等。常用的激活函数及性质会在后续单独总结。

通常来说，多个神经元模型按次序排列即是一个简单的神经网络模型。

二、感知机

1. 单层感知机的定义

周志华老师的西瓜书上对于感知机的定义为：“感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。也称为阈值逻辑单元（threshold logic unit）”。以下为一个单层感知机模型示意图

其中，其中 $\{x_1, x_2,...,x_i,...,x_n\}$ 为输入层接收到的的输入数据； $\{\omega_1,\omega_2,...,\omega_i,...,\omega_n \}$ 为输出层M-P神经元模型计算参数。

当输入层接收到的输入数据维度为2时，通过不同的权重及阈值配比感知机可以实现逻辑的“与”、“或”、“非”运算。经过训练数据集的训练，感知机可以自动地学习到阈值及权重。

2. 单层感知机的学习

一般地，给定数据集，感知机的权重 $\{\omega_1,\omega_2,...,\omega_i,...,\omega_n \}$ 及阈值 $\theta$ 可以通过学习得到。由

输出计算函数 $y=f(\sum_{i=1}^{n}\omega_ix_i-\theta)$ ，我们将阈值 $\theta$ 的看做原始输入数据维度增加一维，该为输入值恒为-1，增加对应需要学习的权重为 $\omega_{n+1}$ （即， $\theta$ ），如此即可将权重和阈值统一到了权重的学习。为了方便理解，给出一个例子，假设原本输入数据为 $\textbf{x}=\{x_1,x_2,...x_n\}$ , 实际的输入数据改为 ${\textbf{x}}'=\{x_1,x_2,...x_n, -1\}$ 。

感知机的参数学习过程如下：

$\omega_i=\leftarrow {\omega_i}+\Delta {\omega_i}$

$\Delta {\omega_i}=\eta (y-\hat{y})x_i$

其中， $i \in [1,n+1]$ ， $\eta \in [0,1]$ ，称为学习率，用于调控模型的学习进度； $y$ 为输入数据对应的真实值； $\hat{y}$ 为当前学习步骤中感知机的输出结果。若模型输出结果同真实值相同，则权重不发生变化；当模型预测值同真实值差距越大，则权重调整的幅度越大。