机器学习
RayRings
无论你从什么时候开始,重要的是开始后就不要停止;无论你从什么时候结束,重要的是结束后就不要悔恨。
展开
-
KL散度(KL divergence)
KL散度(KL divergence)相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(information gain)。KL散度是两个概率分布P和Q差别的非对称性的度量,用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典...原创 2019-07-28 10:58:06 · 5131 阅读 · 0 评论 -
Markov chain -- 马尔科夫链
Markov chain -- 马尔科夫链【定义】在机器学习算法中,马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链(Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain),因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当...原创 2019-07-16 13:37:52 · 830 阅读 · 0 评论 -
交叉验证(Cross Validation)
交叉验证(Cross Validation)交叉验证,有时亦称循环估计, 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析,而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证的目标是在训练阶段定义一组用于“测试”模型的数据集,以便减少像过拟合的问题,得到该模型将如何衍生到一个独立的数据集的提示。...原创 2019-07-24 10:42:54 · 2930 阅读 · 1 评论 -
卷积神经网络之Softmax loss
卷积神经网络之Softmax loss1.Softmax首先理清从全连接层到损失层之间的计算:【分析】这张图的等号左边部分就是全连接层做的事,W是全连接层的参数,我们也称为权值,X是全连接层的输入,也就是特征。从图上可以看出特征X是N*1的向量,这是怎么得到的呢?这个特征就是由全连接层前面多个卷积层和池化层处理后得到的,假设全连接层前面连接的是一个卷积层,这个卷积层的输出是10...原创 2019-07-22 20:48:38 · 1114 阅读 · 1 评论 -
Wasserstein距离
Wasserstein距离1.Wasserstein距离Wasserstein距离度量两个概率分布之间的距离,定义如下:是和分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布,可以从中采样(x,y)∼得到一个样本x和y,并计算出这对样本的距离||x−y||,所以可以计算该联合分布下,样本对距离的期望值E(x,y)∼[||x−y||]。在所有可能的联合分布中能够对这个...转载 2019-07-23 10:33:36 · 29054 阅读 · 5 评论