2.术语
-
随机训练(stochastictraining)
使用一小部分的随机数据来进行训练被称为随机训练(stochastictraining)-在循环训练的过程中,随机抓取训练数据N中的s(s<=N)个批处理数据点进行训练。
在理想情况下,我们希望用我们所有的数据来进行每一步的训练,因为这能给我们更好的训练结果,但显然这需要很大的计算开销。所以,每一次训练我们可以使用不同的数据子集,这样做既可以减少计算开销,又可以最大化地学习到数据集的总体特性。
-
迁移学习(pre-training)
可以先训练底深度的A网络,再复用A网络的权重初始化后面的几个复杂模型,这样训练收敛的速度更快。
-
泛化能力(generalizationability)
泛化能力(generalizationability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。
-
协方差偏移(CovariateShift)
即训练、测试样本的分布不一致时,模型无法很好地泛化。这个问题一般的处理办法是DomainAdaption
-
图像语义分割
https://www.leiphone.com/news/201705/YbRHBVIjhqVBP0X5.html
图像语义分割,不同于整张图片的分类、物体检测、关键点检测,这是个空间密集型的预测任务,换言之,这需要预测一幅图像中所有像素点的类别(FCN)。可用于自动驾驶和医学上的。
更深一部,示例级别(instancelevel)的图像语义分割问题,不仅需要对不同语义物体进行图像分割,同时还要求对同一语义的不同个体进行分割(InstaceFCN)。
-
结构化概率模型 贝叶斯网络 马尔科夫网络
深度学习
+
概率图模型(
GPM
)是一种趋势。
DL
进行特征提取,
GPM
能够从数学理论很好的解释事物本质间的联系。应用如语音识别
,文本分割,图像语义分割等。
有向图模型(贝叶斯网络,条件网络,有向无环)
有向图模型用条件概率表示分解:,即,表示影响的所有父节点。想象如接力赛(前面会影响后面的时间,而后面不会对前面造成影响),也如语音识别等。
无向图模型(马尔科夫网络,马尔科夫随机场)
用相互连接的因子间的函数关系(不是概率关系)φ进行表示,然后进行归一化(归一化常数Z=φ函数乘积的所有状态的求和或积分,注意φ若发散,则无法求积分,无法进行归一化,Z不存在):,即,表示相互影响的团。想象如感冒传染(A,B相互传染,B和C认识,B、C相互传染,C与A相互独立)。
有向图 <=>无向图
道德化(来自未婚父母)将上有向图转化为下无向图(使有向图父节点之间有关系)
三角化将无向图转化为有向图(方向根据节点先后顺序,且保证无有向环)
因子图
因子图(添加方形节点)使无向图的表述更为清晰(中图表示f包含3个变量,右图f表示3个包含2个变量的因子)
结构学习
奖励训练集上高精度,惩罚模型的复杂度,优化结构模型。
-
数据归一化
归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。如:使数据落在指定区间内(灰度值/255归一化到【0,1】);或使数据均值成0,方差为1(Z-Score、白化whitening)等。
不需构造通用的内部模型,只是简单的保存训练数据的样例。分类是从简单的从每个点的最近邻多数投票计算得到的:每一个查询点被判定为最近邻中占比重最多的类。如Kmeans(聚类)、KNN(分类)。
-
K折交叉验证
样本一般分为训练样本、评估样本和测试样本。交叉验证是针对训练样本和评估样本而言的。
首先将总样本分成训练样本和测试样本,然后对训练样本X做交叉验证,如下:
将X分成K份,其中一份作为评估样本,其它K-1份作为训练样本,将结果的均值作为对算法估计;可进行多次K折交叉验证,以求更加精确。
-
信息有效传递
http://blog.csdn.net/shuzfan/article/details/51338178
为了使得网络中信息更好的流动,每一层输出的方差应该尽量相等。
初始化的时候应使各层神经元的方差保持不变,即...使各层有着相同的分布。
很多初始化策略都是为了保持每层的分布不变,图像做白化处理使输入
x
服从分布
N(0,1)
,权重初始化使
w
服从分布
N
(
(
0,--
)
)
,
而BN是通过增加归一化层使得每层数据分布保持在N(0,1),这样可使信息在层间有效流通,加速收敛。