统计相关理论
文章平均质量分 96
统计相关理论
丁希希哇
这个作者很懒,什么都没留下…
展开
-
应用广义线性模型三|多响应广义线性模型
如果响应变量是多水平的分类变量,建模时不能将这类响应变量处理成取多个不同值的单变量,而应将其按照哑变量编码,结果形成二维响应变量。原创 2024-06-18 11:42:39 · 403 阅读 · 0 评论 -
应用广义线性模型二|二响应广义线性模型
系列文章目录文章目录系列文章目录一、二响应模型的不同表达方式和响应函数二、二响应模型的性质(一)二响应变量的条件数学期望与方差(二)二响应模型参数的极大似然估计(三)二响应模型的优势三、二响应模型参数的假设检验(一)对数似然比检验方法(二)Wald统计量(三)得分统计量(四)模型参数分量是否为0的检验(五)四种检验统计量的特点与应用四、二响应模型的拟合优度统计量(一)样本观测数据的表示方法(二)皮尔逊统计量(三)偏差统计量五、全模型与子模型六、响应变量的预报(一)阈值(二)ROC曲线2响应模型中响应变原创 2024-06-08 22:02:10 · 950 阅读 · 0 评论 -
凸优化理论学习三|凸优化问题(一)
二次规划(Quadratic Programming,简称QP)是一种优化问题,其目标是最小化或最大化一个二次型目标函数,其变量受到一组线性等式和不等式约束的限制。线性规划(LP)是一种特殊形式的凸优化问题,其目标函数和约束函数都是仿射的,可行集是多面体(即由线性不等式和等式构成的凸多面体)。半定规划(Semidefinite Programming,SDP)是一类重要的凸优化问题,它涉及到优化一个线性函数,其变量是对称半正定矩阵。凸优化问题的可行集和最优集是凸的;是对称正定矩阵,目标和约束是凸二次的;原创 2024-05-14 21:55:21 · 1095 阅读 · 0 评论 -
凸优化理论学习六|近似和拟合
在估计或回归领域中,当测量的结果中某个分量存在较大的噪声误差时,按照上面的罚函数,结果残差向量中会产生含有较大分量的残差项。对于这种情况,我们应该首先确认哪些测量值是野值,然后在估计过程中移除,或者在估计时不要对这些项进行太多的优化。最常用的就是使用范数,范数是一个函数,自变量是一个向量,因变量是这个向量的距离值。评价每个分量的费用或惩罚,总体惩罚就是每个残差的罚函数之和。的不同选择会导致不同的残差,因此有不同的总体惩罚,在罚函数问题中,极小化总体惩罚来解决问题。的问题,而最小范数问题解决的是在满足。原创 2024-05-18 21:02:35 · 1300 阅读 · 0 评论 -
凸优化理论学习八|几何问题
另外,需要注意的是,两组不等式可能描述相同的集合,但其解析中心可能是不同的,这取决于不等式约束的具体形式和约束集合的几何性质。它的作用是通过惩罚违反不等式约束来寻找在约束集内部的点,其中对于任何违反不等式约束的点,其目标函数值会趋于无穷大,因此最小化该目标函数将导致寻找在不等式约束下尽可能远离违规区域的点。在设施选址和布置问题中,我们通常需要在平面或三维空间中放置若干个点,并且这些点之间的某些位置是已知的,另一些位置是变量。内接椭球最大体积问题是一个经典的几何优化问题,通常被称为"最大体积内接椭球问题"。原创 2024-05-19 19:55:52 · 1077 阅读 · 0 评论 -
凸优化理论学习四|凸优化问题(二)
这种问题通常在实践中很难求解,因为它是一个组合优化问题,通常需要穷尽搜索所有可能的组合来找到最优解。但是找到一个同时优化所有目标的解是具有挑战性的,而且可能并非总是可能的。在凸松弛中,通过将非凸问题转化为等价的凸优化问题来简化求解过程。拟凸优化问题是一类特殊的优化问题,它的目标函数是拟凸函数,拟凸问题可能有非(全局)最优的局部最优点。对于标量问题是最优的,那么它对于多准则问题是帕累托最优的。在凸形式中,将几何规划(GP)的问题转换为对数空间是一种常见的方法。得到的等价问题为:(这里的映射必须是单射)原创 2024-05-17 15:06:23 · 818 阅读 · 0 评论 -
凸优化理论学习七|统计估计
极大极小(Max-Min)检测器是一种常见的检测器设计方法,其目标是在所有可能情况下最大化最差情况的性能。D-最优设计是实验设计中的一种方法,通过选择设计点来最小化估计参数的协方差矩阵的行列式,从而最小化估计的不确定性。标量化多目标检测器设计问题的核心思想是将多个目标函数组合成一个单一的标量目标函数,从而将多目标优化问题转化为单目标优化问题。行列式的几何解释是对应置信椭球体的体积,因此最小化协方差矩阵的行列式的对数相当于最小化估计的不确定性,使得置信椭球体的体积最小。在参数分布估计中,我们选择一个参数。原创 2024-05-19 13:38:12 · 821 阅读 · 0 评论 -
凸优化理论学习一|最优化及凸集的基本概念
线性分数函数是仿射映射函数和透视变换的复合函数,依然还是保凸运算,凸集在线性分数函数下的像和逆像都是凸的。支撑超平面不完全逆定理:如果一个集合是闭的,具有非空内部并且其边界上每个点均存在支撑超平面,那么它是凸的。仿射映射:凸集的仿射映射也是凸的。(函数形式为f=Ax+b,则称函数是仿射的,即线性函数加常数的形式。是有限多个线性不等式和等式的解集,也是有限数量的半空间和超平面的交集。支撑超平面:如果C是凸的,那么在C的每个边界点都存在一个支持超平面。交运算:(任意数量的)凸集的交集是凸的。原创 2024-05-10 14:27:27 · 885 阅读 · 0 评论 -
凸优化理论学习五|对偶性
对偶问题(Dual Problem)在优化理论中是与原始问题相关联的一个问题。对偶问题的目标函数和约束条件是通过拉格朗日函数构造的,其形式可能有所不同,具体取决于原始问题的形式。目标函数:最大化gλvgλvλ≥0λ≥0凸性:无论原始问题是否为凸,对偶问题始终为凸优化问题,因此对偶问题比原始问题更容易求解弱对偶性:对于任何原始可行解xxx和任何对偶可行解λvλvfx≤gλvfx≤gλv。原创 2024-05-18 13:07:18 · 939 阅读 · 0 评论 -
凸优化理论学习二|凸函数及其相关概念
设SSS为nnn维欧氏空间RnR^nRn中的非空凸集,fff是定义在SSS上的实函数,如果对任意的xy∈Sx,y\in Sxy∈S及0≤θ≤10≤θ≤1fθx1−θy≤θfx1−θfyfθx1−θy≤θfx1−θfy则称fff为SSS上的凸函数。(这里的凸函数与高数里面定义的凸函数则恰恰相反。如果 -f 是凸的,则 f 是凹的当不需要满足等号条件时,fff为严格凸函数。原创 2024-05-11 20:25:49 · 1105 阅读 · 0 评论 -
应用广义线性模型一|线性模型
对于响应变量YYY和解释变量X1XqX_1,...X_qX1...Xq,如果存在qqq元函数Z1ZpZ1...Zp,以及实数β1βpβ1...βpYZ1Xβ1ZpXβpϵYZ1Xβ1...ZpXβpϵ并且ϵ\epsilonϵ为随机变量,满足条件Eϵ∣X≡0Eϵ∣X≡0,则称其为线性回归模型或线性模型。YZ1Xβ1。原创 2024-06-08 21:10:00 · 830 阅读 · 0 评论 -
统计计算六|自助法及置换检验(Bootstrap and Permutation Test)
置换检验通过对比样本置换后的检验统计量与置换前的检验统计量来决定是否拒绝零假设。p 值为假设检验中假设零假设为真时观测到的至少与实际观测样本相同的样本的概率。很小的 p 值说明在零假设下观测到的概率很小。的估计,经过逐个删除并分别计算估计之后,便可以得到一系列估计值,基于这些估计值进而估计。,每次删除其中一个 (或者几个) 样本点,基于剩下的样本采用相同的估计量公式得到。Jackknife 估计的基本思想是,对于给定样本。的分布,进而得到估计量的均值和方差。分布Bootstrap估计的标准差。原创 2024-05-30 19:56:13 · 697 阅读 · 0 评论 -
统计计算五|MCMC( Markov Chain Monte Carlo)
系列文章目录统计计算一|非线性方程的求解统计计算二|EM算法(Expectation-Maximization Algorithm,期望最大化算法)统计计算三|Cases for EM统计计算四|蒙特卡罗方法(Monte Carlo Method)文章目录系列文章目录一、基本概念(一)马尔科夫链1、定义2、性质3、常返4、平稳分布(二)MCMC原理1、核心思想2、连续状态3、MCMC估计期望的步骤二、满条件分布1、定义2、考虑MCMC中的应用3、伽玛分布三、Metropolis–Hastings原创 2024-05-29 17:43:05 · 1139 阅读 · 0 评论 -
统计计算四|蒙特卡罗方法(Monte Carlo Method)
剩下的飞镖将在曲线下方的区域内均匀分布,并且这些飞镖的 x 坐标将按照随机变量的密度分布。拒绝抽样的一般形式假设板子的形状不一定是矩形,而是根据某个提议分布的密度来确定(该分布不一定归一化为 1)。通常情况下将其视为某个已知的分布的倍数。但是接受拒绝采样非常依赖于提议分布的选择,如果提议分布选择的不好,可能采样时间很长却获得很少满足分布的粒子。蒙特卡洛方法:为了解决某确定性问题,把它变成一个概率模型的求解问题,然后产生符合模型的大量随机数,对产生的随机数进行分析从而求解问题的方法,又称为随机模拟方法。原创 2024-05-27 22:06:54 · 1220 阅读 · 0 评论 -
统计计算三|Cases for EM
2、多项式分布的其中两个类别,他们加起来等于一个常数的话,那么他们两个在这个常数下的条件概率分布成比例于他们在原有的多项式分布中各自的概率,然后他们在这个二项式分布真实的概率为它们在联合概率中的这个概率除以它们的求和。, EM算法本质上相当于把基于完整数据得到的极大似然估计量中没有观测到的数据,采用观测到的数据和上次迭代估计。的估计,只需分别统计 A, B 硬币投的结果出现正面的次数,然后除以分别投的总次数。,且未观测到的隐含数据和观测到的数据独立,则。假定已注册的人的B站等级服从参数为。原创 2024-05-27 12:58:41 · 1054 阅读 · 0 评论 -
统计计算二|EM算法(Expectation-Maximization Algorithm,期望最大化算法)
系列文章目录统计计算一|非线性方程的求解文章目录系列文章目录一、基本概念(一)极大似然估计和EM算法(二)EM算法的基本思想(三)定义1、缺失数据, 边际化和符号2、Q函数3、混合高斯模型(Gaussian Mixture Model,简称GMM)4、一般混合模型三、收敛性(一)琴生不等式(Jensen’s inequality)(二) EM 算法的收敛性质(三)MM 算法 (Minorize-Maximization)四、方差估计(一)Louis’s Method1、提出原因2、核心思想3、计算步骤(原创 2024-05-24 12:48:39 · 342 阅读 · 0 评论 -
统计计算一|非线性方程的求解
回顾最大似然估计,频率派和贝叶斯学派,讲解非线性方程的优化方法,包括二分法,牛顿法,割线法,以及他们收敛的理论证明。此外,讲述最新适用于深度学习的优化。原创 2024-05-22 18:30:27 · 442 阅读 · 0 评论