AI 名词解释、图像素材、学习资料

人生成熟的三个阶段，认识到父母很普通，认识到自己很普通，认识到孩子很普通。

前言

写这一篇文章的主要原因是因为在看论文的时候，有些名词真的对新手不友好。我看了论文也看不懂，有些只好请教我的老师才得以知道……简单对这些遇到的名词记录下，方便读者看论文。

可以简单看看「王垠」对于计算机视觉的理解的文章吧。

• 机器与人类视觉能力的差距（1）
• 机器与人类视觉能力的差距（2）
• 机器与人类视觉能力的差距（3）

目录在全文的最末，跳转

名词解释

简单名词性解释

概念	说明
张量	多维数组。
深度学习	深层神经网络。深层神经网络是多层非线性变换最常用的一种方法。精确定义：一类通过多层非线性变换对高复杂性数据建模算法的合集。
线性模型的最大的局限性	只通过线性变换，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别，而且它们都是线性模型。然而线性模型能够解决的问题是有限的，这就是线性模型的最大的局限性。
组合特征提取	深层神经网络实际上有组合特征提取的功能。这个特性对于解决不易提取特征向量的问题（比如图片识别、语音识别等）有很大的帮助。
过拟合	可以通过正则化，加参数来使得模型无法完美拟合数据来避免。
concatenate	类似于Python concat的操作。 神经网络中concatenate和add层的不同 - KUN的博客 - CSDN博客
上采样和下采样	上采样和下采样：上采样即以数量多一方为准，扩充少的一方；下采样就是从数量多的一方随机抽取和数量少的一方的样本数量。 上采样，在Caffe中也被称为反卷积（Deconvolution），可能叫做转置卷积（conv_transpose）更为恰当一点。 机器学习中欠拟合和过拟合/上采样和下采样 - nextdoor6的博客 - CSDN博客
CRFs	Conditional random fields，条件随机场。 Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials - Orville的博客 - CSDN博客
IU、IoU	交并比。 深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现 - OLDPAN的博客 - CSDN博客
fine-tuing	微调。
Stride	步进值，是在使用滤波器在输入矩阵上滑动的时候，每次滑动的距离。Stride值越大，得到的Feature Map的尺寸就越小。 常用机器学习算法汇总比较(完） - 掘金
Zero-padding	有时候在输入矩阵的边界填补0，这样就可以将滤波器应用到边缘的像素点上，一个好的Zero-padding是能让我们可以控制好特征图的尺寸的。使用改方法的卷积叫做wide convolution，没有使用的则是narrow convolution。
深度（Depth）	深度等于滤波器的数量。
BN	Batch Normalization，批标准化。
LRN	全称为Local Response Normalization，中文名称为局部响应归一化层。
ReLU	Rectified Linear Units，整流线性单元。 作用：神经网络激励函数。 神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎
Basic	论文中Basic指的是浅层网络。
Removing max pooling	由于maxpool会引入更高频的激活，这样的激活会随着卷积层往后传播，使得grid问题更明显。
Adding layers	在网络最后增加更小空洞率的残参block, 有点类似于HDC。
Removing residual connections	去掉残参连接，防止之前层的高频信号往后传播。
Max Pooling	最大池化层。 更多请查看：CNN卷积神经网络算法之Max pooling池化操作学习
Dropout	随机失活（dropout）是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性（co-dependence ）从而实现神经网络的正则化（regularization），降低其结构风险（structural risk）。 原理解析可以看看这篇文章：深度学习中Dropout原理解析 。
Group Conv	分组卷积——深度学习之群卷积(Group Convolution) 可以看看：王井东研究员在CSDN上对IGC Block做的讲座
channel通道	一般 channels 的含义是，每个卷积层中卷积核的数量。 【CNN】理解卷积神经网络中的通道 channel
Multiply-Adds	乘加，指的是模型的计算量。

计算机视觉概念

概念	说明
low-level version 低级视觉	which concerns the extraction of image properties from the retinal image. 主要关注的是从视网膜图像中提取图像的特性。
middle-level vision 中级视觉	which concerns the integration of image properties into perceptual organizations. 主要关注是将图像特性整合到知觉组织中。
high-level vision 高级视觉	which concerns the everyday functionality of perceptual organizations. 主要关注的是知觉组织的日常功能。

数学概念

激活函数

激活函数实现去线性化。激活函数可以加入激活函数和偏置项。

$$f(x{W}^{(1)}+b),b为偏置项$$

• 更多的激活函数可见：激活函数
• 为什么需要激活函数：https://zhuanlan.zhihu.com/p/32824193
  • 我觉得你应该看看博主写的东西，才能对激活函数有个比较充分的了解。
  • 如果我们的神经网络函数是线性的，那么它的导数就是个常数，意味着Gradient和$X$无关了，也就意味着和输入无关了。
  • 我们在做反向传播的时候，Gradient的改变也变成常数和输入的改变$X(delta(x))$无关了。
  • 这个时候，就是我们激活函数（Activation Function）上场了，它对于提高模型鲁棒性，非线性表达能力，缓解梯度消失问题，将特征图映射到新的特征空间从而更有利于训练，加速模型收敛等问题都有很好的帮助。
• 神经网络激励函数的作用是什么？有没有形象的解释？

损失函数

• 神经网络模型的效果以及优化的目标是通过损失函数(Loss Function)来定义的 。
  • Softmax：将神经网络前向传播的到的解决变成概率分布。Softmax回归本身可以作为一个学习算法来优化分类结果，但在 TensorFlow中，Softmax回归的参数被去掉了，它只是一层额外的处理层，将神经网络的输出变成一个概率分布 。
  • 均方误差也是分类问题中的一种损失函数。
• 机器学习-损失函数

Softmax

• softmax分类器
• Logistic 分类器与 softmax分类器 - 殷大侠 - 博客园
• 指数分布族（The Exponential Family)与广义线性回归（Generalized Linear Model GLM） - bitcarmanlee的博客 - CSDN博客
• 广义线性模型（Generalized Linear Model）

$L_{1}Loss$和$L_{2}Loss$

L1、L2正则VS L1、L2 loss

介绍了$L_{1}Loss$和$L_{2}Loss$在应用和使用上的区别。

优化算法

• 神经网络优化算法

反向传播算法(back propagation)

给出了一个高效的方式在所有参数上使用梯度下降算法。

1. 作用：训练神经网络的核心算法，可以根据定义好的算是函数优化神经网络中参数的取值，从而使得神经网络模型在训练数据集上的损失函数达到一个较小值。
2. 神经网络模型中参数的优化过程直接决定了模型的质量。

梯度下降算法(gradient decent)

优化单个参数的取值

1. 梯度下降算法会迭代更新参数Θ，不断沿着梯度的反方向让参数朝着总损失更小的方向更新。
2. 梯度下降算法并不能保证被优化的函数达到全局最优解。
3. 为了加速训练过程，可以使用随机梯度下降算法（stochastic gradient descent）。这个算法优化的不是全部训练数据上的损失函数，而是在每一轮迭代中，随机优化某一条训练数据上的损失函数。缺点很明显，可能使用随机梯度下降优化的到的神经网络模型甚至无法达到局部最优。
4. 为了综合梯度下降算法和随机梯度下降算法的优缺点，可以每次计算一部分训练数据的损失函数，这一小部分数据称之为一个batch。
   外链图片转存失败(img-yOFGJ2tP-1563377665002)(-ca68f214-eb30-4a09-abeb-c712b492c5bbuntitled]

机器学习

白化whitening

• 机器学习（七）白化whitening - hjimce的专栏 - CSDN博客
• Batch-Normalization深入解析
• 深度学习入门—PCA，白化 - jiede1的博客 - CSDN博客