数学
文章平均质量分 96
意念回复
这个作者很懒,什么都没留下…
展开
-
三大统计学相关系数(pearson皮尔森、spearman斯皮尔曼、kendall肯德尔)
Kendall相关系数是对于定类变量的统计,pearson是对定距变量的统计,而spearman是对定序变量的统计。1 person correlation coefficient(皮尔森相关性系数)公式如下: 重点关注第一个等号后面的公式。两个变量(X, Y)的皮尔森相关性系数(ρX,Y)等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX, σY)。 公式的分母是变量的标准差,这就意味着计算皮尔森相关性系数时,变量的标准差...原创 2022-05-08 23:13:46 · 11498 阅读 · 1 评论 -
共轭和共轭分布
1 贝叶斯分布 共轭是贝叶斯理论中的一个概念,一般共轭是一个先验分布与似然函数共轭; 那么就从贝叶斯理论中的先验概率,后验概率以及似然函数说起: 在概率论中有一个条件概率公式,有两个变量第一个是A,第二个是B,A先发生,B后发生,B的发生与否是与A有关系的,那么我们要想根据B的发生情况来计算 A发生的概率就是所谓的后验概率P(A|B)(后验概率是一个条件概率,即在B发生的条件下A发生的概率),计算公式是:P(A|B)=P(AB)/P(B), ...原创 2022-01-06 15:30:15 · 2439 阅读 · 0 评论 -
拉格朗日对偶性
目录1 原始问题2 对偶问题3 原始问题和对偶问题的关系4 KKT条件5. 总结1 原始问题 再次注意是一个关于的函数,经过我们优化(不要管什么方法),就是确定的值使得取得最大值(此过程中把看做常量),确定了的值,就可以得到的最大值,因为已经确定,显然最大值就是只和有关的函数。2 对偶问题 注意等式右边是关于的函数的最小化,确...原创 2020-04-26 00:35:55 · 333 阅读 · 0 评论 -
拉格朗日乘子法和KKT条件
1 无约束优化 对于无约束优化问题中,如果一个函数f是凸函数,那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优,人们尽可能使用凸函数作为优化问题的目标函数。凸集定义:欧式空间中,对于集合中的任意两点的连线,连线上任意一点都在集合中,我们就说这个集合是凸集。凸函数定义:对于任意属于[0,1]的a和任意属于凸集的两点x, y,有f( a...原创 2020-04-23 22:36:10 · 2531 阅读 · 1 评论 -
基于Box–Muller变换的正态随机数生成方法
Box-Muller,一般是要得到服从正态分布的随机数,基本思想是先得到服从均匀分布的随机数再将服从均匀分布的随机数转变为服从正态分布。 定理(Box-Muller变换):如果随机变量U1和U2是IID的,且U1,U2~Uniform[0, 1],则 Z0和Z1独立且服从标准正态分布。 如何来证...原创 2019-09-30 15:46:42 · 2490 阅读 · 0 评论 -
协方差矩阵
原创 2019-09-29 15:13:53 · 300 阅读 · 0 评论 -
SoftMax函数
目录1 Softmax的形式2hardmax的特性 3softmax和hardmax的相似性4 softmax函数概率模型构建5softmax函数优化1 Softmax的形式 Softmax函数是在机器学习中经常出现的,时常出现在输出层中。 softmax的表达式: 而下面我们要...原创 2019-09-26 13:41:20 · 5012 阅读 · 0 评论 -
指数分布族函数与广义线性模型(Generalized Linear Models,GLM)
目录1 综述2 指数分布族3广义线性模型3.1 定义3.2为什么引入GLM3.3 连接函数的获取4常见连接函数求解及对应回归4.1伯努利分布 > Logistics回归4.2多项分布 > softmax回归4.2.1 softmax理解4.2.2softmax多项分布解释5广义线性模型的计算1 综述 广...原创 2019-09-25 17:50:50 · 5852 阅读 · 2 评论 -
似然与极大似然估计(MLE,Maximum Likelihood Estimation)
目录1 似然与概率2 例子(伯努利分布)3 似然函数的最大值4极大似然估计4.1极大似然估计4.2 求解极大似然函数4.3极大似然估计的例子4.3.1 正态分布4.3.2均匀分布[a, b]5 对数化的似然函数6 总结7 对数函数公式1 似然与概率 在统计学中,似然函数(likelihood function,通常简写为...原创 2019-09-02 17:27:47 · 3231 阅读 · 1 评论 -
为什么样本方差(sample variance)的分母是 n-1?
1 样本方差和总体方差 我们通常所说的方差有两种,一种是样本方差,一种是总体方差。当求样本方差的时候,分母是n-1;当求总体方差的时候,分母是n。在数理统计中,一般所求的都是样本方差,这就需要构造一个统计量样本方差S^2(注意这是一个随机变量),需要使构造的统计量的期望与总体方差相等,这样才能使统计量具有无偏性。 在小学数学,也可能是初中数学中才能遇到求总体方差...原创 2019-08-14 15:01:14 · 13246 阅读 · 6 评论 -
无偏估计量
目录1 定义2 实际意义3 结论3.1 结论一3.2 结论二4 应用5如何理解无偏估计量?5.1 无偏性5.2有效性5.3一致性5.4 总结参考百度百科:https://baike.baidu.com/item/%E6%97%A0%E5%81%8F%E4%BC%B0%E8%AE%A1%E9%87%8F/303853?fr=aladdin...原创 2019-08-14 11:34:28 · 13046 阅读 · 0 评论 -
矩阵的求导
目录1布局(Layout)1.1矩阵向量求导引入1.2矩阵向量求导定义1.3矩阵向量求导布局1.4 分母布局的另一种求解方法1.5 总结2基本的求导规则2.1向量对标量求导(相对于数量变量的微分,即自变量是数量变量)2.1.1 定义2.1.2 运算法则2.2标量y 对向量x求导(数量函数相对于向量的微分)2.2.1 定义2.2...原创 2019-08-13 17:25:30 · 38867 阅读 · 22 评论