深度学习复习总结

---

前言

总结自用，以对付考试为主，考试全是选择题。

---

一、绪论

1.“人工智能”概念诞生的标志性事件是（1956年达特茅斯会议召开）。
1975年，BP算法开始研究，人工智能逐渐开始突破。
2.人工智能的三个层面：（1）能存会算（2）能感知并识别（3）能理解会思考。当前处于（2）阶段
3.三种流派：
符号主义：定理证明机，专家系统，知识图谱…
贝叶斯：朴素贝叶斯，隐马尔科夫
联结主义：神经网络
4.神经网络第三次兴起的标志性事件
（1）逐层预训练算法被提出
（2）深度学习算法在视觉识别竞赛ImageNet上实现突破
（3）AlphaGo战胜李世石
5.人工智能>机器学习>深度学习

6.深度学习快速崛起的三要素：
大数据、计算能力提高、算法进步
7.Yann LeCun：（将方向传播算法引入卷积神经网络）对卷积神经网络的早期大规模实际应用做出了主要贡献。
8.Hinton：第一次系统阐述BP算法及应用（解决了XOR难题），使用所谓的“限制玻尔兹曼机”来学习。
9.Bengio：使用一种称为“修正线性单元”（RELU）激励函数
10.Raina和吴恩达：论文采用DBNs模型和稀疏编码。
11.深度学习三巨头：Yann LeCun、Hinton、Bengio
12.AlexNet：第一个深度卷积神经网络模型，是深度学习在图像分类上取得真正突破的开端。

二、基础知识

1.机器学习基本概念

2.期望风险：对所有样本（包含未知样本和已知的训练风险）的预测能力，是全局概念
经验风险：对所有训练样本的预测能力，是局部概念
3.批量梯度下降，随机梯度下降，小批量梯度下降的区别
4.过拟合：往往是由于训练数据少和噪声以及模型能力强等原因造成的。

2.常用模型

二分类问题

线性回归
Logistic回归：

交叉熵：

如果p和q越接近，交叉熵越小；反之越大

多分类问题

1.一对其余，C个判别函数
一对一：C (C − 1)/2
“argmax”方式：C 个判别函数。不会存在一些难以确定类别的区域。
2.softmax回归
可以将k个标量变成k个取值的分布，组成和为1的向量

3.感知机
错误驱动的在线学习算法
每次分错一个样本（x,y），ywx<0
收敛性：如果训练集线性可分，则会收敛；若不是线性可分，则永远不会收敛。

---

三、深度前馈网络

1.神经网络

1.神经元接收到来自其他𝑑个神经元传递过来的输入信号，这些输入信号通
过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值
（bias）进行比较，然后通过“激活函数”处理产生神经元的输出

2.万能近似定理：只要其隐藏层神经元数量足够多，可以以任意精度来近似任何一个定义在实数空间中的有界闭集函数。
3.随着深度的增加，网络的表示能力呈指数增加。
更深层的网络具有更好的泛化能力
参数数量的增加未必一定会带来模型效果的提升
4.常见神经网络：
前馈网络：朝一个方向传播，没有反向的信息传播，用有向无环图表示
包括全连接前馈神经网络和卷积神经网络
记忆网络：神经元可以接受历史信息，且在不同的时刻具有不同的状态，可以是单向或者双向传递，可用一个有向循环图或无向图来表示
包括循环神经网络、Hopfield网络、玻尔兹曼机、受限玻尔兹曼机
图网络：每个节点可以接收来自相邻节点或者自身的信息，如图卷积网络、图注意力网络、消息传递网络等

2.前馈神经网络

1.信号从输入层向输出层单向传播，整个网络中无反馈，可用一个有向无环图表示

2.激活函数的性质要求：
连续并可导（允许少数点上不可导）的非线性函数。
激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太
小，否则会影响训练的效率和稳定性。
3.激活函数

4.反向传播算法（BP）
向量的微分链式法则：

反向传播算法：

计算图：


静态图：在编译时构建计算图，构建好后在程序运行时不能改变。在构建时可以进行优化、并行能力强。灵活性较差
动态图：在程序运行时动态构建计算图。不容易优化，当不同输入所使用的网络结构不一样时，难以并行计算。灵活性比较高。PyTorch和Tensorflow 2.0都支持动态图。