2019年07月_RayRings

原创 GAN -- 生成对抗网络

GAN -- 生成对抗网络生成对抗网络（英语：GenerativeAdversarialNetwork，简称GAN）是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。该方法由伊恩·古德费洛等人于2014年提出。假设有两个网络，G（Generator）和D（Discriminator）。正如名字所暗示的那样，它们的功能分别是：◎ G是一个生成图片的网络，它接收一...

2019-07-30 21:56:04 1043 2

原创 KL散度（KL divergence）

KL散度（KL divergence）相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。KL散度是两个概率分布P和Q差别的非对称性的度量，用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。典...

2019-07-28 10:58:06 5126

原创交叉验证（Cross Validation）

交叉验证（Cross Validation）交叉验证，有时亦称循环估计，是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析，而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证的目标是在训练阶段定义一组用于“测试”模型的数据集，以便减少像过拟合的问题，得到该模型将如何衍生到一个独立的数据集的提示。...

2019-07-24 10:42:54 2928 1

转载 Wasserstein距离

Wasserstein距离1.Wasserstein距离Wasserstein距离度量两个概率分布之间的距离，定义如下：是和分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布，可以从中采样(x,y)∼得到一个样本x和y，并计算出这对样本的距离||x−y||，所以可以计算该联合分布下，样本对距离的期望值E(x,y)∼[||x−y||]。在所有可能的联合分布中能够对这个...

2019-07-23 10:33:36 29044 5

原创卷积神经网络之Softmax loss

卷积神经网络之Softmax loss1.Softmax首先理清从全连接层到损失层之间的计算：【分析】这张图的等号左边部分就是全连接层做的事，W是全连接层的参数，我们也称为权值，X是全连接层的输入，也就是特征。从图上可以看出特征X是N*1的向量，这是怎么得到的呢？这个特征就是由全连接层前面多个卷积层和池化层处理后得到的，假设全连接层前面连接的是一个卷积层，这个卷积层的输出是10...

2019-07-22 20:48:38 1110 1

原创 Markov chain -- 马尔科夫链

Markov chain -- 马尔科夫链【定义】在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当...

2019-07-16 13:37:52 829

转载为什么样本方差（sample variance）的分母是 n-1？

为什么样本方差（sample variance）的分母是 n-1？本文转自：https://www.matongxue.com/madocs/607.html先把问题完整的描述下。如果已知随机变量的期望为，那么可以如下计算方差：上面的式子需...

2019-07-04 10:35:01 445 1

转载全面认识“边缘云”，中国首份边缘云白皮书发布

《边缘云计算技术与标准化白皮书》近期发布，定义了边缘云计算的概念和标准等。中心云和边缘云相互配合，实现中心-边缘协同、全网算力调度、全网统一管控等能力，真正实现“无处不在”的云。

2019-07-03 15:12:13 1070

m0_37805255的博客