神经网络与深度学习课程总结（1）

m0_60521456

已于 2024-04-27 10:30:13 修改

阅读量765

点赞数 28

文章标签： python

于 2024-03-31 19:12:54 首次发布

本文链接：https://blog.csdn.net/m0_60521456/article/details/137204863

版权

1 概述

1.1 神经网络与深度学习概述

人工智能的目标是通过机器实现人类智能能够完成的所有任务。神经网络和深度学习作为实现人工智能的一种手段，从仿生学、符号学、行为学和交叉学科的角度出发，模拟人脑的信息处理机制。这些方法不仅包括数据的收集和预处理，还涉及特征的提取和选择，以及学习和推理的过程，目标是通过经验（数据）来改善计算机系统的性能。

1.2 发展历史与当前趋势

从1943年的第一个神经网络数学模型，到1986年的反向传播算法，再到2006年深度学习的提出，神经网络与深度学习领域经历了从起步、停滞、复兴到爆发的过程。目前，我们已经进入了通用人工智能的时代，以ChatGPT 3.5为标志，人工智能技术正在不断发展和完善中。

1.3 应用趋势与技术应用

深度学习技术已广泛应用于自然语言处理、计算机视觉、智能客服等领域。这些应用不仅要求掌握深度学习和神经网络的基础理论，还需要具备编程基础和使用特定工具（如PyTorch、OpenCV等）的能力。未来的技术趋势将继续围绕沉浸式体验、人工智能自动化及技术人才的培养展开。

2 线性回归与感知机模型

2.1 线性回归

2.1.1 线性回归问题的定义

线性回归是一种确定两种或两种以上变量间相互依赖的定量关系的统计分析方法。通过数理统计中的回归分析，对于给定的一组数据，我们可以构建一个模型来预测或估计一个变量的值。

2.1.2线性回归的核心要素

训练集：被称为输入数据，例如房屋销售记录。
输出数据：例如房屋销售价格。
拟合的函数 (模型)：最简单的模型是直线模型，表示为 $y=wx+b$ 。
训练数据的条目数：训练数据是由输入数据和输出数据组成的对。

2.1.3线性回归的扩展

多变量线性回归：引入更多的变量来预测输出，模型可表示为 $y=w_1x_1+w_2x_2+...+w_nx_n+b_0$

2.1.4代价函数

代价函数 (或损失函数) 用来衡量模型预测值与实际值之间的差异。目标是找到参数 $w$ 和 $b$ , 使得代价函数最小。
代价函数公式： $J(w)=\frac1{2m}\sum_{i=1}^m(h_w(x^{(i)})-y^{(i)})^2$

2.1.5求解线性回归

解析解：通过求解 $J(w)$ 的梯度等于零的点，得到参数的最优解。

2.2 线性二分类问题

定义与假设

线性分类器：通过特征的线性组合进行分类。
分类决定：样本可以通过一个直线（或超平面）被分开。

线性分类与回归的区别

输出的意义、参数的意义以及维度上存在差异。

梯度下降法

核心思想：通过迭代的方法不断更新参数，以逐步逼近最小损失函数的值。
更新公式： $w_{new}=w_{old}-\alpha\frac{\partial}{\partial w}J(w)$

2.3 对数回归与多分类回归

对数回归

利用Sigmoid函数 $(g(z)=\frac1{1+e^{-z}})$ 将线性回归的输出映射到 (0,1) 区间内，表示为概率。

多分类回归（Softmax回归）

适用于多分类问题，通过Softmax函数将多个线性函数的输出转化为概率分布。

2.4 神经元模型

M-P模型

由心理学家McCulloch和数学家Pitts提出，是一种简化的神经元数学模型。

作用函数

Sigmoid函数：将输入映射到 (0,1) 区间，常用于二分类问题。
Tanh函数：将输入映射到 (-1,1) 区间，可以用于输出层或隐藏层。这为构建更复杂的模型如神经网络奠定了基础。

2.5 感知机模型

感知机原理

感知机是由Rosenblatt于1957年提出的，是最早的人工神经网络之一，用于解决线性可分的分类问题。

模型和训练

模型：感知机模型可以表示为 $f(x)=sign(wx+b)$ ，其中 $sign$ 函数是一个符号函数，用于将输入映射到 -1 或 1，代表两个分类。
训练过程：通过迭代更新权重 $w$ 和偏置 $b$ ，以最小化损失函数。损失函数通常定义为所有误分类点到分界面的距离之和。

感知机与神经元模型

感知机模型与早期的神经元模型（如M-P模型）有相似之处，都是基于权重的线性组合加上一个激活函数。

2.6总结与反思

本章通过介绍线性回归和感知机模型，展示了机器学习中处理回归和分类问题的基本方法。线性回归模型关注于预测连续值，而感知机模型则是处理二分类问题的基础。也掌握了许多概念：

参数优化：线性回归和线性分类问题本质上都是通过参数优化来最小化误差或损失。
神经元模型：M-P模型和感知机模型展示了最早的尝试，将生物神经元的工作原理抽象成数学模型。
激活函数：从简单的阈值函数到Sigmoid函数，激活函数的选择对模型的性能有重要影响。

这些概念和方法不仅是深入理解神经网络的基础，也是掌握机器学习的关键。

3 多层前馈网络与误差反传算法

3.1 多层感知机与XOR问题

3.1.1 XOR问题的提出与挑战

XOR问题由Minsky于1969年提出，展示了单层感知机无法解决线性不可分问题的局限性。XOR问题可描述为：无法通过一条直线将输入空间中的点分类为两类（0和1）。

3.1.2 多层感知机的引入

为了解决XOR问题，提出了多层感知机（MLP）模型。MLP通过在输入层和输出层之间引入一个或多个隐含层来解决非线性问题。

3.1.3 解决XOR问题

通过引入隐层，多层感知机能够学习到XOR函数的非线性决策边界。
示例公式：
假设有权重 $w_{11}^{[1]},w_{12}^{[1]},w_{11}^{[2]},w_{21}^{[2]}$ 和偏置项，隐层激活函数输出可表示为： $\begin{aligned}h_1=f(w_{11}^{[1]}x_1+w_{12}^{[1]}x_2+b_1)\\h_2=f(w_{21}^{[1]}x_1+w_{22}^{[1]}x_2+b_2)\end{aligned}$

输出层输出为：

$y=f(w_{11}^{[2]}h_1+w_{21}^{[2]}h_2+b_3)$

3.2. 多层前馈网络及BP算法概述

3.2.1 多层前馈网络的结构

多层前馈网络由输入层、一个或多个隐含层和输出层组成，其中的信号仅在相邻层间前向传播。

3.2.2 BP算法简述

BP算法是一种训练多层前馈神经网络的有监督学习方法，包括正向传播和反向传播两个阶段。

正向传播：计算网络输出。 反向传播：根据输出误差调整权重。

3.2.3 BP算法的关键步骤

误差计算： $E=\frac12\sum(y_{actual}-y_{predicted})^2$

权重更新：权重的更新依据梯度下降法进行，调整量与误差梯度成比例。

更新公式： $w_{new}=w_{old}-\alpha\frac{\partial E}{\partial w}$ ，其中 $\alpha$ 是学习率。

3.3. 算法评述与应用

3.3.1 优点

可以自主学习并逼近任意非线性函数。
具有强大的表示能力。

3.3.2 缺点

存在局部最小值问题。
学习速率选择和网络结构设计需要经验指导。

3.4. BP算法详解

BP算法的核心在于误差的反向传播，即将输出层的误差反向传递到隐层并相应地调整各层的权重，以最小化整个网络的输出误差。

3.4.1 误差反向传播误差反向传播的数学表达为：

对于输出层：

$\delta^{(L)}=-(y-a^{(L)})\odot\sigma^{\prime}(z^{(L)})$
对于隐层：

$\delta^{(l)}=((w^{(l+1)})^T\delta^{(l+1)})\odot\sigma^{\prime}(z^{(l)})$
其中， $\delta^{(l)}$ 是第 $l$ 层的误差， $\sigma^{\prime}(z^{(l)})$ 是激活函数的导数， $\bigodot$ 表示Hadamard乘积， $w^{(l+1)}$ 是第 $l$ 层到
第 $l+1$ 层的权重矩阵， $y$ 是实际输出， $a^{(L)}$ 是网络的预测输出。

3.4.2 权重和偏置的更新

权重和偏置的更新依据梯度下降法，调整量与计算得到的误差梯度成比例：
权重更新：

$w_{new}^{(l)}=w_{old}^{(l)}-\alpha\frac{\partial E}{\partial w^{(l)}}$
偏置更新：

$b_{new}^{(l)}=b_{old}^{(l)}-\alpha\frac{\partial E}{\partial b^{(l)}}$

3.4.3 学习率的选择

学习率的选择对网络的学习效率和收敛性有重要影响。过大的学习率可能导致学习过程不稳定，过小的学习率则可能导致收敛速度过慢。

3.5 总结与展望

多层前馈网络和BP算法在深度学习的发展中扮演了重要角色。通过不断的研究和改进，现代深度学习模型能够解决更复杂的问题，如语音识别、自然语言处理和图像识别等。尽管存在一些挑战，如局部最小值和梯度消失/爆炸等问题，但通过引入正则化技术、改进的激活函数和优化算法，深度学习领域仍在快速发展，不断拓宽其应用范围。

4 性能优化

4.1 常用技巧与初始化方法

模型初始化

简单初始化：权值初始化在[-1,1]区间内，可以按均匀分布或高斯分布进行。
Xavier初始化：为了使得各层输出的方差相等，根据输入和输出节点数量自动调整权值的尺度。

数据处理

数据集划分：通常将数据分为训练集、验证集和测试集，比例如70%/15%/15%或60%/20%/20%。
折交叉验证：将训练数据分成K个子集，进行K次训练和验证，以提高模型稳定性和可靠性。

欠拟合与过拟合

欠拟合：模型复杂度过低，无法捕捉数据的基本结构。
过拟合：模型过于复杂，捕捉了数据中的噪声而非其底层结构。

权重衰减（L2正则化）

通过在目标函数中添加一个正则项，约束权值的大小，避免过拟合。

Dropout

随机丢弃网络中的部分神经元，以减少模型对特定样本的依赖，增强模型的泛化能力。

m0_60521456

关注

28
点赞
踩
23

收藏

觉得还不错? 一键收藏
1
评论
神经网络与深度学习课程总结（1）

线性回归是一种确定两种或两种以上变量间相互依赖的定量关系的统计分析方法。通过数理统计中的回归分析，对于给定的一组数据，我们可以构建一个模型来预测或估计一个变量的值。线性分类器：通过特征的线性组合进行分类。分类决定：样本可以通过一个直线（或超平面）被分开。本章通过介绍线性回归和感知机模型，展示了机器学习中处理回归和分类问题的基本方法。线性回归模型关注于预测连续值，而感知机模型则是处理二分类问题的基础。参数优化：线性回归和线性分类问题本质上都是通过参数优化来最小化误差或损失。神经元模型。
复制链接

扫一扫