Wangpeiyi9979的博客

近日研读了一篇发表在ICLR 2018上的文章:《LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS》, 其介绍了一种能够将二维张量以可微分的形式转变为转置矩阵的方法。使得指派、重排等不可微分操作能够以可微分的形式结合到神经网络当中。由此，我们便可使BP算法学习这些操作，以实现神经网络的数字排序、拼图等算法。 BP之痛 直面评价...

文章目录TF-IDF TF-IDF l理论：TF-IDF与余弦相似性的应用 实践： 使用不同的方法计算TF-IDF值

前言： 主成分分析(Principal components analysis)，以下简称PCA, 广泛地运用在数据压缩和噪声消除中，是一种很重要的无监督学习算法。 这一方法使用正交变换, 把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。 PCA算法包括协方差矩阵的特征值分解和数据矩阵的奇异值分解方法。 文章目录一、基本想法参考资料 一、基本想法...

前言： 这篇博客是隐马尔科夫模型学习的系列导航。 问答总结： 描述隐马尔科夫模型。 写出隐马尔科夫模型的形式化定义。 举例说明隐马尔科夫模型的3个基本问题。 写出隐马尔科夫模型的3个基本问题的形式化定义。 机器学习:隐马尔可夫模型——定义和问题描述 机器学习:隐马尔可夫模型——概率计算算法 机器学习:隐马尔可夫模型——学习算法 机器学习:隐马尔可夫模型——预测算法 ...

文章目录一、形式与作用1、形式2、作用二、正则项为何起作用1、几何直观理解2、假设空间理解三、各类正则项性质四、参考 一、形式与作用 1、形式 机器学习，深度学习损失函数一般记为L=1N∑i=0Nl(f(xi;W),yi)L = \frac{1}{N}\sum_{i=0}^Nl(f(x_i;W),y_i)L=N1​i=0∑N​l(f(xi​;W),yi​) 其中，NNN为样本数，lll为损失函数，...

[1] 苏剑林. (2017, Jun 08). 《互怼的艺术：从零直达WGAN-GP 》[Blog post]. Retrieved from https://kexue.fm/archives/4439 [2] 苏剑林. (2019, Jan 20). 《从Wasserstein距离、对偶理论到WGAN 》[Blog post]. Retrieved from https://spaces....

前言 此博客记录自己学习LDA(潜在狄利克雷分布)的一些资料和笔记。 文章目录一、相关资料二、个人笔记 一、相关资料 1、LDA数学八卦 二、个人笔记 1、LDA数学八卦笔记 ...

文章目录参考资料 参考资料 [1] 苏剑林. (2018, Mar 18). 《变分自编码器（一）：原来是这么一回事 》[Blog post]. Retrieved from https://kexue.fm/archives/5253 [2] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint ar...

前言 看LDA时用到了PLSA，PLSA用到了EM，一直对EM都是模模糊糊的，这次又重新学习了一遍。个人觉得自己理解仍然不到位，因此只贴一些学习过程中比较好的资料。 [1] 梯度下降和EM算法：系出同源，一脉相承 指出梯度下降其实是使用【二次函数】在当前点逼近原函数实现优化，而EM算法去掉二次函数的限制，所以说梯度下降是EM的特例。(感觉文中推导还有一点小问题）其实下图直观说明了【下界B(θ,...