基于Tensorflow学习神经网络-术语

2.术语

• 随机训练（stochastictraining）

使用一小部分的随机数据来进行训练被称为随机训练（stochastictraining）-在循环训练的过程中，随机抓取训练数据N中的s(s<=N)个批处理数据点进行训练。

在理想情况下，我们希望用我们所有的数据来进行每一步的训练，因为这能给我们更好的训练结果，但显然这需要很大的计算开销。所以，每一次训练我们可以使用不同的数据子集，这样做既可以减少计算开销，又可以最大化地学习到数据集的总体特性。

• 迁移学习（pre-training）

可以先训练底深度的A网络，再复用A网络的权重初始化后面的几个复杂模型，这样训练收敛的速度更快。

• 泛化能力（generalizationability）

泛化能力（generalizationability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

• 协方差偏移（CovariateShift）

即训练、测试样本的分布不一致时，模型无法很好地泛化。这个问题一般的处理办法是DomainAdaption

• 图像语义分割

https://www.leiphone.com/news/201705/YbRHBVIjhqVBP0X5.html

图像语义分割，不同于整张图片的分类、物体检测、关键点检测，这是个空间密集型的预测任务，换言之，这需要预测一幅图像中所有像素点的类别（FCN）。可用于自动驾驶和医学上的。

更深一部，示例级别（instancelevel）的图像语义分割问题，不仅需要对不同语义物体进行图像分割，同时还要求对同一语义的不同个体进行分割（InstaceFCN）。

• 
  结构化概率模型 贝叶斯网络 马尔科夫网络

深度学习+概率图模型（GPM）是一种趋势。DL进行特征提取，GPM能够从数学理论很好的解释事物本质间的联系。应用如语音识别，文本分割，图像语义分割等。

有向图模型（贝叶斯网络，条件网络，有向无环）

有向图模型用条件概率表示分解：，即,表示影响的所有父节点。想象如接力赛（前面会影响后面的时间，而后面不会对前面造成影响），也如语音识别等。

无向图模型（马尔科夫网络，马尔科夫随机场）

用相互连接的因子间的函数关系（不是概率关系）φ进行表示，然后进行归一化（归一化常数Z=φ函数乘积的所有状态的求和或积分，注意φ若发散，则无法求积分，无法进行归一化，Z不存在）：，即,表示相互影响的团。想象如感冒传染（A，B相互传染，B和C认识，B、C相互传染，C与A相互独立）。

有向图 <=>无向图

道德化（来自未婚父母）将上有向图转化为下无向图（使有向图父节点之间有关系）

三角化将无向图转化为有向图（方向根据节点先后顺序，且保证无有向环）

因子图

因子图（添加方形节点）使无向图的表述更为清晰（中图表示f包含3个变量，右图f表示3个包含2个变量的因子）

结构学习

奖励训练集上高精度，惩罚模型的复杂度，优化结构模型。

• 数据归一化

归一化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。如：使数据落在指定区间内（灰度值/255归一化到【0,1】）；或使数据均值成0，方差为1（Z-Score、白化whitening）等。

• 
  最近邻分类

不需构造通用的内部模型，只是简单的保存训练数据的样例。分类是从简单的从每个点的最近邻多数投票计算得到的：每一个查询点被判定为最近邻中占比重最多的类。如Kmeans（聚类）、KNN（分类）。

• K折交叉验证

样本一般分为训练样本、评估样本和测试样本。交叉验证是针对训练样本和评估样本而言的。

首先将总样本分成训练样本和测试样本，然后对训练样本X做交叉验证，如下：

将X分成K份，其中一份作为评估样本，其它K-1份作为训练样本，将结果的均值作为对算法估计；可进行多次K折交叉验证，以求更加精确。

• 信息有效传递

http://blog.csdn.net/shuzfan/article/details/51338178

为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。

初始化的时候应使各层神经元的方差保持不变,即...使各层有着相同的分布。

很多初始化策略都是为了保持每层的分布不变，图像做白化处理使输入x服从分布N(0,1)，权重初始化使w服从分布N（(0,--）)，而BN是通过增加归一化层使得每层数据分布保持在N(0,1)，这样可使信息在层间有效流通，加速收敛。