![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学基础
Allen_99
这个作者很懒,什么都没留下…
展开
-
空间任一点到超平面的距离公式的推导过程
在感知机模型中,输入空间中任意一点 到超平面S的距离:其推导过程如下:转载 2017-08-04 07:09:42 · 27072 阅读 · 16 评论 -
PCA的数学原理
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理,帮助读者了解PCA的工作机制是什么。当然我并不打算把文章转载 2017-12-26 21:50:06 · 266 阅读 · 0 评论 -
各种熵之间的关系
各种熵之间的关系H(X, Y) = H(x) U H(Y); —— 联合熵的定义:两个随机变量X,Y的联合分布,可以形成联合熵,是并集H(X|Y) = H(X, Y) - H(Y); H(Y|X) = H(X, Y) - H(X) —— 条件熵的定义H(X|Y) = H(X) - I(X, Y); H(Y|X) = H(Y) - I(X, Y)I(X, Y) = H(X) - H(转载 2017-12-12 23:01:20 · 3131 阅读 · 0 评论 -
互信息
作者:maple链接:https://www.zhihu.com/question/24059517/answer/37430101来源:知乎互信息指的是两个随机变量之间的关联程度,即给定一个随机变量后,另一个随机变量不确定性的削弱程度,因而互信息取值最小为0,意味着给定一个随机变量对确定另一个随机变量没有影响,最大取值为随机变量的熵,意味着给定一个随机变量,能完全消除另一个随转载 2017-12-12 22:53:47 · 1984 阅读 · 0 评论 -
相对熵
作者:Noriko Oshima链接:https://www.zhihu.com/question/41252833/answer/108777563来源:知乎熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q,其中p为真实分布,q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为:H(p)=。如果使用错误分布q来表转载 2017-12-12 22:48:26 · 1077 阅读 · 0 评论 -
信息熵
作者:项王链接:https://www.zhihu.com/question/30828247/answer/61924989来源:知乎以下用I(a)表示a事件发生的信息量有两个事件a,b,如果其中一条有更小的概率发生,那么我们认为它发生会传递更大的信息量即:1、 0I(b)如果一个事件a发生概率趋于0,那么我们认为它发生时有趋于无穷大的信息量,因为这个消息会刷新世转载 2017-12-12 21:43:53 · 904 阅读 · 0 评论 -
条件熵
作者:忆臻链接:https://zhuanlan.zhihu.com/p/26551798来源:知乎我们首先知道信息熵是考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。公式如下:我们的条件熵的定义是:定义为X给定条件下,Y的条件概率分布的熵对X的数学期望这个还是比较抽象,下面我们解释一下:设有随机变量(X,Y),其联合概率分布为转载 2017-12-12 20:54:26 · 2965 阅读 · 0 评论 -
超平面
什么是超平面我们最常见的平面概念是在三维空间中定义的:Ax + By + Cz + D = 0它由两个性质定义:方程是线性的: 是空间点的各分量的线性组合方程数量为1若抛却维度等于3的限制, 就得到了超平面的定义. 方程数量为1, 它的本质其实是自由度比空间维度d小一. 自由度的概念可以简单的理解为至少要给定多少个分量的值才能确定一个点. 例如, 三维空间里的(超)平面只要给定了(x,y,转载 2017-08-04 07:23:16 · 642 阅读 · 0 评论 -
SVD的数学原理
主要介绍SVD的原理及与PCA的关系原文见:https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html转载 2017-12-27 22:25:11 · 636 阅读 · 0 评论