1、人工智能三个层面:计算智能、感知智能,认知智能。
2、特征处理:数据预处理、特征提取、特征转换。
3、分布式表征优点:①存储效率高;②鲁棒性好。
4、BP算法:①纠错运算量下降到和神经元数目本身成正比;②神经网络增加一个隐藏层解决XOR难题。
5、卷积神经网络由Yann LeCun提出,并用于银行支票数字识别。
6、神经网络第三次兴起的标志性事件:①AlphaGo战胜李世⽯;②ImageNet 准确率⼤幅提⾼;③逐层预训练⽅法的提出。
7、期望风险:全局概念。经验风险:局部概念。
8、线性回归优化的目标:凸函数。神经网络的优化目标是非凸函数。
9、机器学习的三要素:模型、学习准则、优化算法。
10、GD(梯度下降算法)算法用于求解无约束最优化问题。学习率是十分重要的超参数。
11、三种梯度下降算法的比较:①批量梯度下降:利于寻找全局 最优解,梯度方差小;但样本 数目很多时,训练过程会很慢。(一次迭代选择全部样本)②随机梯度下降:训练速度快; 准确度下降,并不是全局最优, 梯度方差大。(一次迭代选择一个样本)③小批量梯度下降法:同时兼顾两种方法的优点。
12、欠拟合:模型能力不足。过拟合:训练数据少和噪声以及模型能力强。
13、泛化错误:表现为一个模型在训练集和测试集的错误率。机器学习的目标减少泛华错误。正则化:限制模型能力使其不要过度地最小化经验风险:机器学习,评估——风险函数 - 西伯尔 - 博客园
(备注:最小化期望错误等价与最小化偏差)
14、所有损害优化的方法都是正则化:一、增加优化约束:①L1、L2优化;②数据增强。二、干扰优化过程:①权重衰减;②SGD(随机梯度下降);③提前终止。最小化偏差和方差之和。
15、自信息:熵:随机事件的不确定性,熵越高,随机变量信息越多,反之成立。
16、感知机的缺点:①不能保证其泛化能力。②对样本顺序比较敏感。
17、感知机的收敛性:①训练集线性可分:有限迭代后收敛;②训练集线性不可分,一定不会收敛。
18、Roseballt最初的感知器用的激励函数是:阶跃函数。
19、计算图是一种特殊的有向无环图。
20、根据计算图的搭建方式:动态图和静态图
静态图 | 动态图 |
先搭建后运算,高效但不灵活 | 搭建和运算同时进行,容易调节 |
程序运行不能改变 | 运行时动态构建计算法 |
构建时可进行优化,并行能力强 | 不易优化,难以并行 |
灵活性差 | 灵活性好 |
Theano、TensorFlow等 | PyNet、Pytorch、TensorFlow2.0 |
21、人工神经网络的三大要素:节点、连边、连接方式。
22、更深层的网络具有更好的泛化能力,模型性能随着深度的增加而不断提升(备注:参数数量增加,未必一定会带来模型效果的提升)
23、前馈神经网络(FNN):全连接前馈神经网络和卷积神经网络。
24、记忆网络:RNN(循环神经网络)、Hopfield网络、玻尔兹曼机和受限玻尔兹曼机。
25、最早发明简单人工神经网络:FNN->多层感知器。
26、激活函数的性质要求:①连续并可导的非线性函数。②激活函数及其导数要尽可能的简单。③导函数的值域在一个合适的区间内。
27、RELU激活函数可以缓解梯度消失问题。
28、计算机实现参数的自动梯度计算,其方法可分为:数值微分、符号微分、自动微分。
29、神经网络参数优化的主要问题:①非凸优化问题。②梯度消失。
30、梯度消失问题是否可以通过增加学习率来缓解?
答:在一定程度上可以缓解。适当增大学习率,可以使学习率与导数相乘结果变大缓解梯度消失。然而过大的学习率可能使梯度巨大导致爆炸。
31、网络优化目标:最小化服从真实数据分布的损失函数的期望。经验风险最小化用训练集上的经验分布替代真实分布。
32、非凸优化问题:一、低维空间:非凸优化主要难点:①如何选择初始化参数;②如何逃离局部最优点。二、高维空间:如何逃离鞍点。
33、小批量梯度下降关键因素:①小批量样本的数量;②学习率(过大:不收敛;过小:收敛慢);③:梯度
(备注:批量大小不影响随机梯度的期望,但会影响随机梯度的方差)
34、动量法:①在迭代初期,梯度方向比较一致,动量法会起到加速作用,可以更快地到达最优点;②在迭代后期,梯度方向会不一致,动量法利用之前迭代时的梯度值,减小震荡;(减速作用,增加稳定性)③动量法虽然不能保证收敛到全局最优,但有一定可能跳出局部极值点。
35、梯度截断:发生梯度爆炸,当梯度的模大于一定阈值时,对梯度进行截断。
36、参数初始化:①全为0:出现对称权重问题?????②太小:梯度消失,使得Sigmoid型函数丢失非线性的能力。③太大:梯度爆炸,使得Sigmoid型函数变得饱和。
37、初始化方法:①预训练初始化:Fine-Tuning;②固定值初始化:b = 0(偏置);③随机初始化方法:固定方差、方差缩放(备注:初始化一个深度网络时,为了缓解梯度消失或者梯度爆炸问题,我们尽可能保持每个神经元的输入和输出的方差一致,根据神经元的连接数量来自适应)、正交初始化方法。
38、数据预处理:①数据归一化:(简单缩放、逐样本均值消减、特征标准化)②白化:降低输入冗余性,降低特征之间相关性。使得所有的特征具有相同的方差。
39、逐层归一化的目的:①解决内部协变量便宜问题。②解决梯度消失,梯度爆炸问题。③更平滑的优化地形。
40、归一化方法:①批量归一化->行;②层归一化->列(当样本数量少的时候选择);③权重归一化
41、超参数优化:
一、神经网络中的超参数:①网络机构;②优化参数;③正则化系数
二、优化方法:网格搜索,随机搜索、贝叶斯优化、动态资源分配、神经架构搜索。
42、如何提高神经网络泛化能力:①L1和L2正则化;②提前终止;③Dropout;④数据增强。(备注:数据增强方法:旋转、翻转、缩放、平移、噪声)
43、使用一个验证集来测试每一次迭代的参数在验证集上是否最优:如果验证集的错误率不在下降则停止迭代。
43、Dropout为什么会提升网络优化效果:
答:1、简化网络,防止过拟合;2、与集成学习取得的效果类似;3、Dropout可解释为一种贝叶斯学习的近似。
44、卷积神经网络(CNN)
45、卷积的运算:(过滤器/卷积核需要翻转在进行计算)
①一维卷积:
②二维卷积:
③计算公式
46、互相关和卷积的区别仅仅在于卷积核是否进行翻转,互相关也可称为不翻转卷积。
47、在神经网络中使用卷积是为了进行特征抽取,卷积核是否进行翻转和其特征抽取的能力无关。
48、卷积的动机:稀疏交互、参数共享、平移不变性
相关计算题:
49、卷积层虽然可以显著减少网络中连接的数量,但特征映射组中的神经元个数并没有显著减少。如果后面接一个分类器,分类器的输入维数依然很高,
相关计算题
53、如果训练参数设置不合理会导致过拟合或者欠拟合!!
( 备注:空洞卷积通过给卷积核插入“空洞”来变相地增加其大小。)
答:①增加卷积核的大小;(备注:参数量增加)
网络类型 | 相关内容 | 网络结构图 |
LeNet 1998
|
LeNet提供了利用卷积层堆叠进行特征提取的框架,开启
了深度卷积神经网络的发展。
| ![]() |
AlexNet
| 1、使用ReLU解决梯度弥散问题提高了网络的训练速率
2、使用
Dropout
,避免
过拟合
。
3、
使用重叠的
最大池化
(max pooling)。最大池化可以避免平均
池化的
模糊化效果
,而采用重叠技巧可以提升特征的丰富性。
4、提出了LRN层,增强了模型的泛化能力。 5、利用GPU强大的并行计算能力加速网络训练过程 6、数据增强。降低过拟合 | ![]() |
Inception
| 优点一:减少网络参数,降低运算量(备注:因此,1×1卷积的作用之一是通过降维减少网络开销) 优点二:多尺度、多层次滤波(因此,1×1卷积的另一作用是对低层滤波结果进行有效的组合 ) | ![]() |
ResNet(残差网络) | 1、非常深的残差网络能够很容易的优化。 2、深度残差网络能够容易地从增加的深度中得到精 度收益,同时比先前的网络产生了更好的效果。 优点:
➢
没有
带来
额外的参数
和
计算
开销。
➢
便于和具有相同结构的“平常”网络进行比。
| |
58、循环神经网络(RNN)
(备注:循环神经网络的训练需要基于时间反向传播误差)
网络模型 | 网络模型图 | 模型应用 |
Many-to-One模型 | | 1、文本分类 2、情感分析 |
One-to-Many模型 | | 1、输入一张图片,输出为图片的文字描述 2、编写诗歌 |
Many-to-Many模型(同步) | | 1、实体识别 2、词性标记 |
Many-to-Many模型(异步) | | 1、机器翻译 2、自动问答 |
59、BPTT(随时间反向传播)
(备注:A. 前向计算 B. 误差项的计算 C. 权重梯度的计算 )
①BPTT 算法的核心思想和 BP 算法是相同的;②BPTT 算法与 BP 算法不同之处在于参数的寻优过程需要追溯历史数据;③
60、双向循环神经网络
网络名称 | 网络结构图 | 应用案例 |
双向循环神经网络 | ![]() | ![]() |
注意:
正向计算和反向计算
不共享权重!!!
|
61、关于梯度消失和梯度爆炸的描述:
①梯度消失或者梯度爆炸会导致梯度为 0 或 NaN,无法继续训练更新参数;
②通常来说,梯度爆炸比梯度消失更容易处理一些;
③合理的参数初始化和使用 ReLU 函数可以用来解决梯度消失问题
62、关于 GRU 和 LSTM
GRU(参数少,数据少) | LSTM |
更新门、重置门 | 输入门、遗忘门、输出门 |
1、GRU 是 LSTM 的一种变体,但是比 LSTM 结构更简单。
| |
2、更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多。 | |
3、重置门控制前一状态有多少信息被写入到当前的候选集上,重置门越小,前一状态的信息被写入的越少。 |