Datawhale组队学习—吃瓜教程task04

在第五章神经网络的学习中，这次我们主要介绍感知机和BP算法的相关知识。

神经网络，也称为人工神经网络 (ANN) 或模拟神经网络 (SNN)，是机器学习的子集，并且是深度学习算法的核心。其名称和结构是受人类大脑的启发，模仿了生物神经元信号相互传递的方式。

人工神经网络 (ANN) 由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。 每个节点也称为一个人工神经元，它们连接到另一个节点，具有相关的权重和阈值。 如果任何单个节点的输出高于指定的阈值，那么该节点将被激活，并将数据发送到网络的下一层。 否则，不会将数据传递到网络的下一层。

这里着重介绍一下啊M-P神经元：M‑P神经元（一个用来模拟生物行为的数学模型）：接收n个输入(通常是来自其他神经元)，并给各个输入赋予权重计算加权和，然后和自身特有的阈值 进行比较（作减法），最后经过激活函数（模拟“抑制”和“激活”）处理得到输出（通常是给下一个神经元）。基本表现形式如下：

主要分为两类：单个M‑P神经元：感知机（ 作激活函数）、对数几率回归（ 作激活函数）

多个M‑P神经元：神经网络。

这里我们以感知机为例，从机器学习三要素：模型、策略、算法，展开分析。

感知机模型

已知感知机由两层神经元组成，故感知机模型的公式可表示为：

这里解释一下啊，感知机只能解决线性可分问题，故而引导出感知机学习策略。

这里说一下啊超平面的概念：

用西瓜书的图形象表示一下，在二维空间，超平面就是一条直线，一维是个点，三维是个平面。

感知机策略

给定一个线性可分的数据集 T，感知机的学习目标是求得能对数据集 T 中的正负样本完全正确划分的分离超平面：

且满足下列式子：

显然，此损失函数是非负的。如果没有误分类点，损失函数值是 0。而且，误分类点越少，误分类点离超 平面越近，损失函数值就越小。因此，给定数据集 T，损失函数 L(w, θ) 是关于 w, θ 的连续可导函数。

感知机算法

感知机学习算法：当误分类样本集合 固定时，那么可以求得损失函数 的梯度为：

感知机的学习算法具体采用的是随机梯度下降法，也就是极小化过程中不是一次使 中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。所以权重的更新公式为：

注意，此时解不唯一。

神经网络

由于像感知机这种单个神经元分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集则无能为力，但是多个神经元构成的神经网络能够分类线性不可分的数据集（西瓜书上异或问题的那个例子），且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络之一）就能以任意精度逼近任意复杂度的连续函数。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程。

多层前馈网络：每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。（隐层阈值h ，输出层阈值 h）

接下来介绍多层神经网络和BP算法

误差逆传播算法（BP算法）：基于随机梯度下降的参数更新算法

注：推导过程理清楚即可，本文直接截取西瓜书内容。需要说明的是，下面推导过程主要设计偏导数链式法则和矩阵微分等知识。

接下来，书中主要介绍了几种常见的神经网络，比如说：RBF网络、ART网络、SOM网络等，这里不一一展开说明。