2023神经网络与深度学习第一次总结

一、线性分类与感知机模型

1. 线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

线性回归要素：

学习过程

目标：求解参数使代价函数取值最小。

求解过程：

2. 线性二分类

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

线性分类器输入：特征向量

输出：哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

由于我们需要将分类结果转换为0-1之间的概率，因此需要对值进行变换：

目标：求解参数使代价函数取值最小。

求解过程：

3. 多分类回归

4. 神经元模型

下面为生物神经元模型：

1943年，研究者根据生物神经元模型提出了人工神经元模型：

5. 感知机模型

我们要找到参数w使损失函数最小。

二、多层前馈网络（BP网络）

1. 多层感知机

线性不可分问题：无法进行线性分类。

解决方法：使用多层感知机，即在输入和输出之间加入一层或多层隐单元，构成多层感知器（多层前馈网络）。

多层感知机有如下定理：

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

2. BP算法

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。

已知网络的输入/输出样本，即导师信号

BP学习算法由正向传播和反向传播组成：

①正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

② 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

记法：