数理统计
文章平均质量分 95
意念回复
这个作者很懒,什么都没留下…
展开
-
机器学习算法(二十七):贝叶斯网络
目录1. 对概率图模型的理解2. 贝叶斯方法2.1 频率派观点2.2 贝叶斯学派2.3 贝叶斯定理2.4 应用:拼写检查3 贝叶斯网络3.1 贝叶斯网络的定义3.2贝叶斯网络的3种结构形式3.2.1 形式1:head-to-head3.2.2 形式2:tail-to-tail3.2.3 形式3:head-to-tail3.3贝叶斯网络的实例3.4 因子图3.4.1 因子图的定义3.4.2 Sum-product算法1. 对概率图模...原创 2022-03-19 19:42:06 · 4435 阅读 · 0 评论 -
共轭和共轭分布
1 贝叶斯分布 共轭是贝叶斯理论中的一个概念,一般共轭是一个先验分布与似然函数共轭; 那么就从贝叶斯理论中的先验概率,后验概率以及似然函数说起: 在概率论中有一个条件概率公式,有两个变量第一个是A,第二个是B,A先发生,B后发生,B的发生与否是与A有关系的,那么我们要想根据B的发生情况来计算 A发生的概率就是所谓的后验概率P(A|B)(后验概率是一个条件概率,即在B发生的条件下A发生的概率),计算公式是:P(A|B)=P(AB)/P(B), ...原创 2022-01-06 15:30:15 · 2254 阅读 · 0 评论 -
拉格朗日对偶性
目录1 原始问题2 对偶问题3 原始问题和对偶问题的关系4 KKT条件5. 总结1 原始问题 再次注意是一个关于的函数,经过我们优化(不要管什么方法),就是确定的值使得取得最大值(此过程中把看做常量),确定了的值,就可以得到的最大值,因为已经确定,显然最大值就是只和有关的函数。2 对偶问题 注意等式右边是关于的函数的最小化,确...原创 2020-04-26 00:35:55 · 276 阅读 · 0 评论 -
拉格朗日乘子法和KKT条件
1 无约束优化 对于无约束优化问题中,如果一个函数f是凸函数,那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优,人们尽可能使用凸函数作为优化问题的目标函数。凸集定义:欧式空间中,对于集合中的任意两点的连线,连线上任意一点都在集合中,我们就说这个集合是凸集。凸函数定义:对于任意属于[0,1]的a和任意属于凸集的两点x, y,有f( a...原创 2020-04-23 22:36:10 · 2471 阅读 · 1 评论 -
为什么样本方差(sample variance)的分母是 n-1?
1 样本方差和总体方差 我们通常所说的方差有两种,一种是样本方差,一种是总体方差。当求样本方差的时候,分母是n-1;当求总体方差的时候,分母是n。在数理统计中,一般所求的都是样本方差,这就需要构造一个统计量样本方差S^2(注意这是一个随机变量),需要使构造的统计量的期望与总体方差相等,这样才能使统计量具有无偏性。 在小学数学,也可能是初中数学中才能遇到求总体方差...原创 2019-08-14 15:01:14 · 13042 阅读 · 6 评论 -
似然与极大似然估计
目录1似然与概率1.1 基本概念1.2 示例2极大似然估计2.1什么是极大似然估计2.2极大似然原理及数学表示2.3极大似然估计法(Maximum Likelihood Estimation,MLE)2.3.1总体X为离散型2.3.2总体X为连续型2.4极大似然估计法求估计值3极大似然估计法应用3.1 示例一3.2 示例...原创 2019-08-24 18:30:27 · 1886 阅读 · 0 评论 -
似然与极大似然估计(MLE,Maximum Likelihood Estimation)
目录1 似然与概率2 例子(伯努利分布)3 似然函数的最大值4极大似然估计4.1极大似然估计4.2 求解极大似然函数4.3极大似然估计的例子4.3.1 正态分布4.3.2均匀分布[a, b]5 对数化的似然函数6 总结7 对数函数公式1 似然与概率 在统计学中,似然函数(likelihood function,通常简写为...原创 2019-09-02 17:27:47 · 3030 阅读 · 1 评论