深度学习000：有关的名词以及课程的架构

深度学习发展历史

$$\begin{gathered} 在深度视觉有3大基础任务： \\ 目标识别， \\ 目标检测（识别出物体，并指出位置）， \\ 目标分割， \end{gathered}$$

相关词汇

epoch

时期； 纪元；世；新时代；

epoch	英[ˈiːpɒk]   美[ˈepək]
n.	时代; 纪元; 时期; 世(地质年代，纪下分世);

batch

批，一批样本

batch	英[bætʃ]  美[bætʃ]
n.	一批; (食物、药物等)一批生产的量; 批;
v.	分批处理;

batchsize

样本大小，样本多少

iteration

迭代，训练一个Batch就是一次Iteration

iteration	英[ˌɪtəˈreɪʃn]
美[ˌɪtəˈreɪʃn]
n.	迭代; (计算机)新版软件;

loss 英[lɒs] 美[lɔːs]

n.	丧失; 损失; 丢失; 亏损; 亏蚀; 去世; 逝世;

常见的损失函数(loss function)总结

channel

英[ˈtʃænl] 美[ˈtʃænl]
n.	电视台; 频道; 波段; 途径; 渠道; 系统;
v.	为…引资; 引导; 贯注; (利用某途径)输送资金，提供帮助; (经过通道)输送，传送;

图片通道数

如果是单通道图像，即灰度图，如果是多通道图像，比如 RGB 图像，则每个像素用三个字节表示

NaN（Not a Number，非数）是计算机科学中数值数据类型的一类值，表示未定义或不可表示的值。常在浮点数运算中使用。首次引入NaN的是1985年的IEEE 754浮点数标准。

“MNIST（M）全称是Mixed National Institute of Standards and Technology database。这是一个非常庞大的手写数字数据库。 ”

FC：全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。

超参数

超参数也是一种参数，它具有参数的特性，比如未知，也就是它不是一个已知常量。
是一种手工可配置的设置，需要为它根据已有或现有的经验，指定“正确”的值，也就是人为为它设定一个值，它不是通过系统学习得到的。
下图为超参数学习律对算法的影响：

随机梯度下降：Stochastic Gradient Descent，简称SGD

直接使用梯度下降法速度慢，占用大量内存
随机梯度下降法，也叫增量梯度下降法，对每个样本都进行更新，但存在方差大，损失函数震荡严重的问题。

Mini-batch SGD

随机选取一部分训练样本

提前停止法（early stopping method）是2018年公布的计算机科学技术名词

一种当验证集上的性能不再提高时停止训练集上学习的方法。旨在克服过拟合现象。

正则化regularization

所有损害优化的方法都是正则化：增加优化约束(L1/L2约束，数据增强)，干扰优化过程(权重衰减、随机梯度下降、提前停止)

偏差-方差分解Bias-variance Decomposition

希望数据集是无偏采样：
解释偏差的一种方法：
算法的期望误差分解为三个非负项的和，即样本真实噪音noise、bias和 variance(偏差+方差+噪声)
$$\begin{gathered} R(f)=(bias{)}^2+variance+noise \\ =E_x[(E_D[f_D(x)-f^{\ast }(x)]{)}^2]+E_x[E_D[(f_D(x)-E_D[f_D(x)]{)}^2]]+E_{(x,y)\sim p(x,y)}[(y-f^{\ast }(x){)}^2] \end{gathered}$$