![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学基础概念
fan_fan_feng
keep study
展开
-
信息熵 条件熵 联合熵 交叉熵 互信息
最近用到信息论的知识表较多,自己也总结下。1 信息熵(entropy)定义式:其中P(x)是变量出现的概率。从直观上,信息熵越大,变量包含的信息量越大,变量的不确定性也越大。一个事物内部会存在随机性,也就是不确定性,而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息,任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理,信息与信号处理的应用都是一个消除不确定性的过程。2 条件熵...转载 2018-03-07 17:43:09 · 936 阅读 · 0 评论 -
奇异值分解 SVD 的数学解释
奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR decomposition)和极分解(Polar decomposition)等。这篇文章主要说下奇异值分解...转载 2018-03-23 15:20:06 · 2533 阅读 · 0 评论 -
主成分分析(PCA)原理详解
主成分分析(PCA)原理详解2016/12/17 · IT技术 · 主成分分析, 数学分享到:126原文出处: 中科春哥 一、PCA简介1. 相关背景主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩...转载 2018-03-23 15:26:10 · 378 阅读 · 0 评论 -
从最大似然到EM算法浅解
讲得不错,看完的话基本理解了,隐变量怎么引进来的。http://chenrudan.github.io/blog/2015/12/02/emexample.htmlhttps://blog.csdn.net/zouxy09/article/details/8537620转载 2018-03-31 16:31:11 · 136 阅读 · 0 评论 -
python实现最小公倍数和最大公约数
最大公约数:欧几里德算法又称辗转相除法,用于计算两个整数m, n的最大公约数。其计算原理依赖于下面的定理: gcd(m, n) = gcd(n, m mod n)这个定理的意思是:整数m、n的最大公约数等于n和m除以n的余数的最大公约数。 例如:有两个整数:120和45,我们按照上面的方法求他们的最大公约数。 1. gcd(120, 45) = gcd(45, 120 % 45) = ...原创 2018-03-26 20:04:20 · 6823 阅读 · 1 评论