【Python实例第25讲】稳健的 vs 经验的协方差估计

最新推荐文章于 2024-02-06 08:35:15 发布
最新推荐文章于 2024-02-06 08:35:15 发布
阅读量1.8k 收藏 5
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wong2016/article/details/85028184
版权
本文介绍了在异常点敏感的情况下，如何使用极小极大协方差行列式估计（MMDE）进行稳健的协方差估计。MMDE方法用于处理高度污染的数据集，寻找经验协方差最小的观测子集来计算协方差。通过对比完整数据集和稳健的MCDE在受污染正态总体数据集上的表现，展示其在减少估计误差方面的优势。
摘要由CSDN通过智能技术生成

机器学习训练营——机器学习爱好者的自由交流空间（入群联系qq：2279055353）

通常的协方差最大似然估计对数据集里的异常点(outliers)是非常敏感的。在这样的情况下，使用稳健的协方差估计，保证对即使数据集存在错误的观测，估计量也是一致的。

极小极大协方差行列式估计

极小极大协方差行列式估计量(Minimum Covariance Determinant Estimator, MCDE), 通常被用来估计高度污染(contaminated)的数据集的协方差。数据集的受污染程度，可以达到
n s a m p l e s − n f e a t u r e s − 1 2 \dfrac{n_{samples}-n_{features}-1}{2} 2nsamp

最低0.47元/天 解锁文章
Goodsta
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sklearn自学指南(part57)--协方差估计
小山羊的学习日志
02-21 424
学习笔记，仅供参考，有错必纠 文章目录协方差估计经验协方差缩减协方差基本的收缩Ledoit-Wolf收缩甲骨文近似收缩(Oracle Approximating Shrinkage)稀疏逆协方差健壮的协方差估计最小协方差决定因素 协方差估计 许多统计问题需要估计总体的协方差矩阵，这可以看作是对数据集散点图形状的估计。大多数时候，这样的估计必须在一个样本上进行，而样本的属性（大小、结构、同质性）对估计的质量影响很大。sklearn.covariance 包提供了在各种设置下准确估计总体协方差矩阵的工具。
【sklearn第二十二讲】协方差估计
wong2016的博客
07-25 6221
机器学习训练营——机器学习爱好者的自由交流空间（qq 群号：696721295） 很多统计问题要求总体协方差阵的点估计，大多数情况下，估计是由样本得到的，而样本的属性（大小、结构、同质性）对估计质量有很大的影响。sklearn.covariance包旨在提供不同情况下协方差阵的准确估计。估计前，我们假设样本是独立同分布的。 经验协方差 一个数据集的协方差阵的经典的估计来自最大似然...
【Scikit-Learn 中文文档】协方差估计 / 经验协方差 / 收敛协方差 / 稀疏逆协方差 / Robust 协方差估计 - 无监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-23 1483
2.6. 协方差估计 许多统计问题在某一时刻需要估计一个总体的协方差矩阵，这可以看作是对数据集散点图形状的估计。 大多数情况下，基于样本的估计（基于其属性，如尺寸，结构，均匀性）， 对估计质量有很大影响。 sklearn.covariance 方法的目的是 提供一个能在各种设置下准确估计总体协方差矩阵的工具。 我们假设观察是独立的，相同分布的 (i.i.d.)。 2.7. 经验协方差 已知数据集的协方差矩阵与经典 maximum likelihood estimator(最大似然估计) （或 “经验协方差
Robust Covariance (Minimum Covariance Determinant) 稳健协方差（最小协方差行列式）
Labiod的博客
09-09 2107
Robust Covariance (Minimum Covariance Determinant) 是sklearn提供的求离群点数据的例子中出现过。 目的是在于通过 EllipticEnvelope(contamination=0.25) 求给定数据集的协方差矩阵。 经验协方差 有时候由于种种原因，并不使用全部的样本数据计算协方差矩阵，而是利用部分样本数据计算，这时候就要考虑利用部分样本计算得到的协方差矩阵是否和真实的协方差矩阵相同或者近似。 当提供的样本数目相对于特征数足够多时，利用最大
sklearn(三) sklearn.covariance 协方差估计 *
u014765410的博客
09-21 2251
首先对协方差有个总体认识：协方差主要是用来估计数据中不同特征之间的相互关系的一个统计量，除协方差以外，"相关系数”也可以用来估计数据中不同特征的相互关系。 “相关系数”是在协方差的基础上进一步计算而得到的。二者计算公式分别如下： 由公式可以看出，协方差与相关系数的区别在于，协方差没有排除两个不同特征本身方差对于二者相互关系的影响，而“相关性”则排除两个特征本身方差的干扰，更加彻底的研究了不同特征...
POET:阈值主正交补码的大型协方差估计的Python实现
04-07
标题中的"POET"指的是"Thresholded Orthogonal Polynomial Coding for Large Covariance Estimation"（阈值主正交补码的大型协方差估计），这是一种在大数据背景下处理高维协方差矩阵估计的方法。该方法结合了主成分...
xmca:Python中的最大协方差分析
03-21
最大协方差分析（MCA）使两个不同数据字段之间的时间协方差最大化，并且与主成分分析（PCA）/经验正交函数（EOF）分析密切相关，后者使单个数据字段内的方差最大化。 MCA允许提取两个不同数据字段之间的主要共变模式...
PCA.rar_PCA python实现_Python PCA_pca Python_pca协方差_矩阵 python
09-21
在Python中，PCA的实现通常会涉及到numpy、pandas和scikit-learn等库。 首先，我们需要理解PCA的基本步骤： 1. **数据预处理**：在进行PCA之前，通常需要对数据进行中心化处理，即减去每个特征的均值，使得数据...
卡尔曼滤波Python代码实例实现
05-08
卡尔曼滤波（Kalman Filter，简称KF）是一种在噪声存在的情况下，对动态系统的状态进行最优估计的数学方法。在实际应用中，如导航、控制、信号处理等领域，它能够有效地处理连续时间序列数据，从而提供更准确的系统...
ICE:用于“稳健本地化的增量协方差估计”的软件版本
05-24
通过协方差适应进行稳健的增量状态估计 概述 该存储库包含“通过协方差适应进行稳健增量状态估计”的软件版本。 通过相关的摘要描述了软件版本的目标。 有关更详尽的讨论，请参阅。 机器人和自动化领域的最新进展...
Huber稳健估计
10-16
鲁棒估计中的Huber估计，C#源码，仅供参考
griddataLSC:最小二乘搭配 - 数据插值、经验协方差估计和函数拟合-matlab开发
05-29
griddataLSC 可以使用最小二乘搭配来插值数据。 它提供了 6 个协方差函数的选择； 1. 3-D 对数协方差函数2. 二维指数协方差函数3. 二维 Reilly 协方差函数4.二维三角协方差函数5.二维高斯协方差函数6.二维二阶马尔可夫协方差函数可以指定协方差函数参数，也可以将它们拟合到估计的经验协方差值。 ________________________________________________________________________ 如何使用 griddataLSC 二维观测数据： .....G(x,y)+N(X,Y)________G(x,y)+N(X,Y)......... ....................../........../....... ……/…………………… .......................... / _ G（x_i，y
Scikit-Learn 1.4使用指南：无监督学习 协方差估计 Covariance estimation
最新发布
数智笔记
02-06 850
计算了最小协方差行列式估计器后，可以根据它们的马氏距离给观测值赋予权重，从而得到数据集的协方差矩阵的重新加权估计（“重新加权步骤”）。它给出了偏独立关系。尽管最大似然估计是协方差矩阵的渐近无偏估计，但它不是协方差矩阵的特征值的良好估计，因此从其逆矩阵中获得的精度矩阵不准确。在假设数据服从高斯分布的情况下，Chen 等人推导出了一个公式，旨在选择一个收缩系数，使得均方误差比 Ledoit 和 Wolf 的公式给出的均方误差更小。在非常小的样本设置中，最大似然估计、收缩估计和稀疏估计的协方差和精度矩阵的比较。
简单稳健估计法——原理与 Python 实现
weixin_42141390的博客
06-21 760
文章目录均值估计中位数样本均值稳健标准差MADenIQR 本文主要参考 ISO 13528 C.2 条款。 设样本为 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_nx1​,x2​,⋯,xn​。 均值估计 中位数 将样本 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_nx1​,x2​,⋯,xn​ 按升序进行排序，可得：x{1},x{2},⋯ ,x{n}x_\{1\}, x_\{2\}, \cdots, x_\{n\}x{​1},x{​2},⋯,x{​n}。 则中位数为： me
深入理解协方差
Braylon的博客
03-16 627
文章目录协方差方差例子协方差矩阵意义 协方差 度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。 在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况： 当 X, Y 的联合分布像图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越...
MADlib——基于SQL的数据挖掘解决方案（18）——回归之稳健方差
wzy0623的专栏
02-07 1484
Robust Variance模块中的函数用于计算线性回归、逻辑回归、多类逻辑回归和Cox比例风险回归的稳健方差（Huber-White估计）。它们可用于计算具有潜在噪声异常值的数据集中数据的差异。此处实现的Huber-White与R模块“sandwich”中的“HC0”三明治操作完全相同。        线性、逻辑和多类逻辑回归的稳健方差接口是相似的。每种回归类型都有自己的训练函数。回归结果保存
sklearn.covariance.MinCovDet
muzhen_xupeng的博客
12-09 559
from sklearn.covariance import MinCovDet MCD Algorithm:https://wis.kuleuven.be/stat/robust/papers/2010/wire-mcd.pdf
Hampel 估计稳健均值——理论和Python实现
weixin_42141390的博客
06-21 2232
文章目录Hampel 方法①理论步骤Hampel 方法② 本文的参考标准是：ISO 13528 的 C.5.3.2 和 C.5.3.3 条款。 设样本为 x1,x2,⋯ ,xnx_1, x_2, \cdots, x_nx1​,x2​,⋯,xn​，nnn 为样本容量。 Hampel 方法① Hampel 方法有两种实现方法，第一种方法的结果和具体参数选择有关。 理论步骤 首先求出样本的中位数为 x∗x^*x∗； 求出样本的稳健标准差 s∗s^*s∗，可用方法有：MADe、Qn/Q、或算法 A。 对每一个样本
python估计协方差矩阵
07-28
以下是一个用Python估计协方差矩阵的示例代码： ```python import numpy as np # 生成一个示例数据集 data = np.random.rand(100, 3) # 假设有100个样本，每个样本有3个特征 # 估计协方差矩阵 cov_matrix = np....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值