深度学习
天天脱发也不会秃
这个作者很懒,什么都没留下…
展开
-
为什么协方差矩阵求逆可以消除间接耦合
之前看论文的时候,发现协方差矩阵求逆就是精确矩阵,一直非常难以理解,为什么协方差矩阵求逆可以消除间接耦合。一般情况下,如果想知道两个随机变量之间的关系,可以利用协方差矩阵,计算相关矩阵系数来得出它们之间的关系,若相关矩阵系数为0,则它们之间的关系是独立的,若相关矩阵系数>0,则它们呈正相关的关系,若相关矩阵系数<0,则它们呈负相关系数。但是通过与正确结果相比,这个矩阵显示出的信息是粗糙的。比如一条序列有n个残基,两两残基之间的关系,真实的情况中有5%的残基对之间是独立的,但是利用协方差矩阵计算出原创 2020-05-18 22:19:37 · 2339 阅读 · 1 评论 -
贝叶斯算法的理解(结合拼写纠正实例和垃圾邮件实例)
1.贝叶斯要解决的问题:(1)正向概率:假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率有多大。(2)逆向概率:如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例做出什么样的推测。(3)贝叶斯公式:P(A|B)=P(A)*P(B|A)/P(B)2.贝叶斯实例问题一:拼写纠正实例(我们看到用户输入了一个不在字典中的单词,我们需要去猜测“这个家伙到底想输入的单词是什么?”)原创 2020-05-18 20:02:13 · 303 阅读 · 0 评论 -
对信息量、熵、相对熵、交叉熵的简单理解
1.信息量:显而易见的事情。信息量较小,不常发生的事情,信息量较大。假设X是离散随机变量,其取值范围为I,概率分布P(x) = Pr(X = x),xI,则定义事件X = x0的信息量为I(X0) = -log(P(x0))2.熵:对于某个事件,有n种可能,每一种可能性都有一个概率P(x),熵用来表示所有信息量的期望,即H(x) = -3.相对熵(KL散度):对于同一个随机变量X,有两个单独的概率P(X)和Q(X),我们可以用KL散度来衡量两个分布的差异。在机器学习中,P往往用来表示样本的真原创 2020-05-15 14:41:05 · 161 阅读 · 0 评论