数学基础
韩明宇
这个作者很懒,什么都没留下…
展开
-
奇异值分解(Singular Value Decomposition, SVD)——快速教程
原文作者:Dr. Edel Garcia原文地址:https://fenix.tecnico.ulisboa.pt/downloadFile/3779576344458/singular-value-decomposition-fast-track-tutorial.pdf摘要:本快速教程提供了使用奇异值分解(SVD)算法分解矩阵的说明。教程涵盖奇异值、左右特征向量以及计算矩阵的full ...翻译 2019-04-19 10:30:45 · 2483 阅读 · 0 评论 -
极大似然估计与贝叶斯估计的比较
极大似然估计 已知某个随机样本符合某种概率分布,但是其中某个具体参数不清楚,通过极大似然估计得到,该使这个随机样本出现的概率最大。一般步骤1.写出似然函数:2.对似然函数取对数:3.对求偏导数:4.解似然方程组:例题推导下述正态分布均值的极大似然估计,数据来自正态分布,其中已知。根据样本写出的极大似然估计。正态分布概率密度函数:第一步,写出似然函数:...原创 2019-04-25 15:56:54 · 1087 阅读 · 0 评论 -
矩阵求导与Hessian矩阵
标量关于标量的导数 向量关于标量的导数 设向量和标量x,则 矩阵关于标量的导数 设M×N矩阵和标量x,则 标量关于向量的导数 设标量y和向量,则 向量关于向量的导数 设向量和向量,则,即Jacobian矩阵。 矩阵关于向量的导数 设M×N矩阵和p维向量,则,其中 标量关于矩阵的...原创 2019-05-31 19:18:38 · 10708 阅读 · 1 评论 -
主成分分析
协方差 1.协方差期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y):2.协方差矩阵设为n维随机变量,称矩阵:为n维随机变量X的协方差矩阵,其中为X的分量和的协方差。 意义 在力求数据信息丢失最少的原则下,对高维的变量空间降维,即研究指标体系的少数几个线性组合,并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面...原创 2019-06-03 15:20:59 · 368 阅读 · 0 评论 -
最大后验估计与共轭分布
最大后验分布 先验信息 先验信息是指获得样本的试验之前,获得的经验和历史资料。 先验分布 将总体中的未知参数看成一个取值于的随机变量,它有一概率分布,记为,称为参数的先验分布。 后验概率 在贝叶斯统计学中,把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本,和参数的联合密度函数是:在这个联合密度函数中,当样本给定之后,未知的仅是参数了,我们关心...原创 2019-06-17 15:47:24 · 314 阅读 · 0 评论 -
信息熵、互信息、KL散度
信息熵 自信息量设离散信源X的概率空间为:,称事件发生所含有的信息量为的自信息量:信息熵自信息的数学期望为平均自信息量,称为信息熵:当r=2时:信息熵的单位由自信息量的单位决定,即取决于对数的底。交叉熵假设一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布,如果采用错误的分布q来表示来自真实分布p的平均编码长度,则应该是...原创 2019-06-17 16:46:04 · 1848 阅读 · 0 评论