神经网络与深度学习-学习笔记(一)

一、线性分类与感知机

1.线性回归

定义： 利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

2.线性二分类问题

定义： 线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

求解方法：

        特征表示： 在处理线性二分类问题时，首先需要对数据进行特征表示。特征表示是将样本数据转换为向量形式的过程。通常，每个样本都表示为一个特征向量 x，其中每个维度 xi​ 对应于样本的一个特征。

        线性决策边界： 对于线性二分类问题，决策边界是一个超平面，它将特征空间划分为两个区域，每个区域对应于一个类别。在二维特征空间中，决策边界是一条直线；在更高维的特征空间中，决策边界是一个超平面。

        线性分类器： 线性分类器是一种利用线性决策边界来对数据进行分类的模型。它通过计算输入特征与权重的线性组合，并将结果传递给激活函数来决定样本的分类。

        训练与优化： 在训练线性分类器时，通常采用最优化算法来调整模型的参数，以最小化损失函数。

        评估与性能指标： 在训练完成后，需要对线性分类器的性能进行评估。

3.对数回归与多分类回归

指数回归：

从概率角度看问题，二分类问题可使用条件概率描述：

因为是二分类，可假设输出为 {0,1}。

重新修改指标函数：

根据Bayes 公式 ，二分类问题可使用条件概率描述

或统一记为：

假设各样本相互独立，即服从Bernoulli 分布。则的合理估计值应当是让所有样本事件产生的几率最大，即应当是极大似然的 ，因此取似然函数：

或对上式最大化等价于：

 多分类回归：

取代价函数

对应梯度：

这种方式又称为Softmax

4.神经元模型 

分类：

1.生物神经元(Spiking 模型)

2.生物神经元：Integrate and fire 模型

3.人工神经元模型：M P 模型

4.单神经元模型

作用函数：

1.非对称型Sigmoid 函数

2. 对称型Sigmoid 函数 (Tangent Sigmoid)

3.对称性阶跃函数

Hebb规则：

连接权值的调整量与输入与输出的乘积成正比： Δ𝑤 = 𝛼 ⋅ 𝑥 ⋅ y

5.感知机模型

感知机原理：

感知机是 1957 年，由 Rosenblatt 提出，是神经网络和支持向量机的基础。

感知机解决线性分类问题

感知机从输入到输出的模型如下：

其中sign 为符号函数：

如果样本正确分类，则有：

因此可定义损失函数如下：

需要找到超平面参数

，满足：

输入：训练数据集
输出：w

二、多层前馈网络与误差反传算法

1.多层感知机

        为解决线性不可分问题，提出了多层感知机：

        每个隐藏层包含多个神经元，每个神经元与上一层的所有神经元相连，并通过激活函数对输入信号进行非线性转换。多层感知机通过堆叠多个隐藏层，能够学习到更加复杂的特征表示。

2.BP算法

        BP算法是一种用于训练多层前馈神经网络的有效方法，是有导师的学习，它基于梯度下降算法，通过计算网络输出与真实标签之间的误差，并沿着网络的反向传播这个误差，以更新网络参数来最小化损失函数。

主要步骤：

前向传播： 将输入数据通过网络，计算每一层的输出值，并将输出传递给下一层。

计算误差： 将网络输出与真实标签之间的误差表示为损失函数，并计算损失函数对网络输出的偏导数。

反向传播误差： 从输出层开始，沿着网络反向传播误差，计算每一层的误差，并将误差传递给上一层。

更新参数： 使用梯度下降算法，根据每一层的误差和学习率，更新网络中的权重和偏置参数，以减小损失函数的值。

重复训练： 重复以上步骤，直到达到停止条件，如达到最大迭代次数或损失函数收敛到某个阈值。

算法优点：1.学习完全自主，BP算法通过反向传播误差来调整神经网络的权重和偏置，使得网络能够根据输入数据自主学习特征和模式，无需手动设计特征提取器。
                 2.可逼近任意非线性函数：多层神经网络通过堆叠多个非线性激活函数，可以逼近任意复杂的非线性函数，从而具有强大的拟合能力，适用于各种复杂的数据模式
算法缺点：1.非全局收敛，BP算法容易陷入局部极小值，无法保证收敛到全局最优解，这可能导致训练得到的模型性能较差；

                  2.收敛速度慢，BP算法通常需要进行大量的迭代才能收敛到满意的解，尤其是在深层网络或大规模数据集上，训练时间较长；

                 3. 学习速率选择问题；

                  4.神经网络设计问题。