希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion-HSIC）的理解

最新推荐文章于 2025-03-27 20:12:14 发布
最新推荐文章于 2025-03-27 20:12:14 发布
阅读量1.7w 收藏 46
点赞数 11
分类专栏： 矩阵计算 文章标签： 独立性准则 HSIC 希尔伯特-施密特独立性准则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohen123456/article/details/103898574
版权
这篇博客介绍了希尔伯特-施密特独立性准则(HSIC)，用于衡量两个变量分布的差异。通过核函数处理非线性数据，HSIC揭示潜在的语义空间信息。文中详细阐述了HSIC的定义、协方差的计算以及与协方差的关系，并引用了Gretton等人的文献作为参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本章主要是对Gretton et al.文献的一个理解，仅供大家参考！如有疑问可以下方讨论留言。

希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion-HSIC）主要目的是衡量两个变量的一个分布差异，这一点类似于协方差（方差），而对于其本身也是依赖于协方差而构建。如下公式（1）所示

                                                        （1）

其中Z(v)和Z(w)分别表示两个不同的视角数据集。每一个视角数据集都包含有n个样本数据点，其中可定义为

                                                          

其中

最低0.47元/天 解锁文章
干货！重新思考希尔伯特-施密特信息瓶颈在对抗性鲁棒性中的应用
AITIME_HY的博客
06-19 796
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文首次提出将希尔伯特-施密特信息瓶颈（HSIC Information Bottleneck）用于神经网络优化目标中的正则项来提升模型的对抗鲁棒性（adversarial robustness）。我们通过把HSIC Bottleneck正则项部署在神经网络的每一个中间层中，实现了在保留关键信息的前提下对隐藏特征的...
PGM of CMU Lecture1 简介
weixin_36963468的博客
01-26 674
PGM of CMU Lecture1 简介 统计基础 对于多变量(X1,X2,X3,X4,X5,X6,X7,X8)(X_1, X_2,X_3,X_4,X_5,X_6,X_7,X_8)(X1​,X2​,X3​,X4​,X5​,X6​,X7​,X8​)，假设xi∈{0,1}x_i \in \{0,1\} xi​∈{0,1}，很自然的，可以把联合分布概率表示为： x1x_1x1​ x2x_2x2​ x3x_3x3​ x4x_4x4​ x5x_5x5​ x6x_6x6​ x7x_7x7​ x8x_8x8​
希尔伯特-施密特独立性
weixin_43242020的博客
09-30 2761
从希尔伯特－施密特独立性中学习的 多标签半监督学习方法 1 介绍 基于希尔伯特-施密特独立性提出新的半监督学习，最大化依赖性多标签半监督学习方法。 该方法将样本已有标签作为约束，以最大化样本特征集和标签集的关联性为目标，，通过求解一个线性系统为无标签数据打上标签。 注意： 1.样本集和标签集之间的依赖可采用CCA、KCC、HISC. 2. HSIC对再生核希尔伯特空间（ＲＫＨＳ）上的希尔伯特－施密特算子进行统计估计，提出的依赖性经验估计值在理论上具有收敛速度快和计算简单等特点 2 方法 1.ＤＭＭＳ总是
Open-World Class Discovery with Kernel Networks (ICDM 2020)
当个免费仓库用用
06-29 665
我们研究了一个开放世界类发现问题，在这个问题中，训练样本是来自旧类有标签的样本，而我们从没有标记的测试样本中发现新的类。解决这一范式有两个关键的挑战:(a)将知识从旧类转移到新类，(b)将从新类学到的知识整合到原始模型中。我们提出了一种深度学习框架——类发现扩展核网络(CD-KNet-Exp)，该框架利用Hilbert Schmidt独立性准则将有监督信息和无监督信息系统地连接在一起，从而适当地提取旧类中的知识以发现新类。
机器学习算法—Lasso回归
最新发布
m0_66813240的博客
03-27 1280
Lasso通过引入L1正则化（即系数绝对值之和），能够将一些不重要的特征的系数压缩为零。这种稀疏性使得Lasso不仅是一个回归模型，还是一个特征选择工具。它可以帮助我们在高维数据中筛选出最重要的变量，从而简化模型并提高解释性。正则化的目的是防止过拟合。在普通最小二乘法中，如果特征之间存在多重共线性（即特征高度相关），或者特征数量远大于样本数量，模型可能会过度拟合训练数据，导致在测试数据上的表现不佳。Lasso通过对系数施加惩罚，限制了模型的复杂度，从而提高了泛化能力。
matlab独立性检验代码-HSIC:希尔伯特-施密特独立性准则的Python代码
05-25
matlab独立性检验代码希尔伯特-施密特独立标准（HSIC） 原始MATLAB代码的Python版本（HSIC）。 先决条件 麻木 科学的 我们在Windows上使用Python 2.7的Anaconda 4.3.0 64位对代码进行了测试。 套用您的资料 用法 使用导入HSIC from HSIC import hsic_gam 在您的数据上应用HSIC testStat, thresh = hsic_gam(x, y, alph = 0.05) 描述 输入函数hsic_gam() 争论 描述 X 第一个变量的数据。 (n, dim_x) numpy数组。 ÿ 第二个变量的数据。 (n, dim_y) numpy数组。 阿尔法 测试水平 函数hsic_gam()输出 争论 描述 testStat 等级alpha测试的测试阈值 脱粒 测试统计 独立测试结果 如果testStat thresh ，则x和y不独立。 作者 Shoubo胡- shoubo [点]子[在]的Gmail [点] com 另请参阅参与此项目的人员列表。
Understanding of Hilbert-Schmidt Independence Criterion (HSIC)
weixin_43120238的博客
06-23 1159
Hilbert-Schmidt Independence Criterion (HSIC)
从希尔伯特 － 施密特独立性中学习的 多标签半监督学习方法
11-17
该文章基于希尔伯特－施密特独立性提出了一种新的半监督学习方法。有相关的专业人员可以参考。
论文研究-从希尔伯特-施密特独立性中学习的多标签半监督学习方法 .pdf
08-15
从希尔伯特-施密特独立性中学习的多标签半监督学习方法，张晨光，张燕，基于希尔伯特-施密特独立性提出了一种新的半监督学习方法，称为最大化依赖性多标签半监督学习方法(dependence maximization multi-label semi-su
从希尔伯特-施密特独立性中学习的多标签半监督学习方法 (2013年)
05-12
基于希尔伯特施密特独立性提出了一种新的半监督学习方法，称为最大化依赖性多标签半监督学习方法(dependence maximization multi-label semi-supervised learning method，DMMS)。该方法将样本已有标签作为约束，以最大化特征集和标签集的关联性为目标，通过求解一个线性系统为无标签数据打上标签，具有实现简单，无参(nonparameter)的特点。多个真实多标签数据库的实验表明，DMMS与最好的多标签学习方法，包括多标签近邻(multi-label k
A-Fast-3D-CNN-for-HSIC-master (1)_3DCNN_
09-29
在"A-Fast-3D-CNN-for-HSIC-master"项目中，开发者设计了一种快速的3DCNN模型，该模型针对HSIC（Hilbert-Schmidt Independence Criterion，希尔伯特-施密特独立性准则）优化，以增强特征的独立性和分类能力。...
HSIC-based Moving Weight Averaging for Few-Shot Open-Set Object Detection 初读笔记 （obsidian+md+claude）
m0_55898550的博客
07-22 1605
开集检测文章HSIC-based Moving Weight Averaging for Few-Shot Open-Set Object Detection阅读
Diversity-induced Multi-view Subspace Clustering 辅助阅读+总结
KennyWu529的博客
09-27 557
在本文中，我们重点研究如何通过挖掘多视图特征之间的互补信息来促进多视图聚类。针对这一任务，提出了一种多视图聚类框架，称为多样性诱导的多视图子空间聚类( DiMSC )。在我们的方法中，我们将现有的子空间聚类扩展到多视图领域，并利用希尔伯特施密特独立性准则( HSIC )作为多样性项来探索多视图表示的互补性，通过交替最小化优化可以有效地解决这一问题。与其他多视图聚类方法相比，增强的互补性降低了多视图表示之间的冗余性，提高了聚类结果的准确性。在图像和视频人脸聚类上的实验表明，所提出的方法优于当前最先进的方法。
Paper Reading | DishFT-GNN: 通过蒸馏优化图神经网络的股票预测能力，准确率提升5.4%
m0_59164304的博客
03-08 899
将股票趋势预测定义为一个二元节点分类任务。动态股票图在交易日t可定义为其中v=({v_{1}, v_{2},…, v_{N}}是N个股票的集合，X代表历史L个交易日的M个价格指标，A^{t}是表示股票之间关系的归一化关系矩阵。数学上，问题被表述为其中g是基于GNN的模型，f是预测层，y是输出的二元变量集合，y_{n}^{tau=1)表示第n个股票将上涨，否则为0。
多模态情感计算（一）：基于领域自适应的跨模态融合
wdmxsdymcxy的博客
10-07 4409
采用领域自适应的跨模态融合方案解决多模态情感计算问题
3.9-3.16学习周报
lzj2002522的博客
03-13 744
本博客介绍了论文《Evolving Ensemble Model Based on Hilbert Schmidt Independence Criterion for Task-Free Continual Learning》聚焦于无任务持续学习（TFCL），提出进化集成模型（EEM）。该模型可在无任务标签的非平稳数据流上训练，动态构建新专家以适应数据分布变化。为确保训练时网络架构紧凑，引入基于希尔伯特 - 施密特独立性准则（HSIC）的扩展机制，评估专家所学知识与数据特征空间的统计一致性。
度量两个矩阵的相似性
lgl123ok的专栏
01-11 3619
问题 如果有2个矩阵Y∈Rn×qY \in R^{n \times q}Y∈Rn×q 和 Z∈Rn×cZ \in R^{n \times c}Z∈Rn×c ,如何度量两个矩阵的相似性？ 回答 采用The Hilbert-Schmidt Independence Criterion (HSIC)进行度量。 HSIC(Z,Y)=(n−1)−2Tr(HKHQ) HSIC(Z, Y) = (n − 1)^{-2}Tr(HKHQ) HSIC(Z,Y)=(n−1)−2Tr(HKHQ) 其中，K=ZZTK = ZZ^TK
【多视图学习】显式视图-标签问题：多视图聚类的多方面互补性研究
weixin_44184852的博客
01-23 1217
摘要-一致性和互补性是促进多视图聚类（MVC）的两个关键因素。最近，随着流行的对比学习的引入，视图的一致性学习在MVC中得到了进一步的增强，导致了有希望的性能。然而，相比之下，除了在特征方面之外，互补性没有得到足够的关注，在特征方面，通常采用Hilbert Schmidt独立性准则项或独立编码器-解码器网络来捕获视图特定的信息。这促使我们在保持视图一致性的同时，从特征、视图标签和对比等多个方面全面重新考虑视图的互补性学习。
迁移学习一——TCA和SSTCA
qq_40824311的博客
10-23 6637
本篇文章是对论文《Domain Adaptation via Transfer Component Analysis》进行学习 1 背景 首先我们引入域的概念，通常认为域由两部分组成：输入χ\chiχ的特征空间和输入X的边缘概率分布P(X)，其中X=(x1,x2,...,xn)∈χX=(x_{1},x_{2},...,x_{n})\in \chiX=(x1​,x2​,...,xn​)∈χ是输入样本...
希尔伯特-施密特独立准则
02-07
### 希尔伯特-施密特独立准则解释 希尔伯特-施密特独立准则是衡量两个随机变量之间依赖性的工具之一。该方法基于再生核希尔伯特空间（RKHS），通过计算不同特征映射下的协方差算子来评估两组数据间的相互关系强度[^1]。 具体来说，给定样本集 \(X\) 和 \(Y\) ，分别对应于输入域 \(\mathcal{X}\) 及输出域 \(\mathcal{Y}\)，可以定义各自对应的 RKHS 中的均值嵌入函数： \[ m_X = E_{x\sim P}[k(x,\cdot)] \\ m_Y=E_{y\sim Q}[\ell(y,\cdot)] \] 其中 \(P,Q\) 表示概率分布；\( k:\mathcal{X}\times\mathcal{X}\to R , l:\mathcal{Y}\times\mathcal{Y}\to R \) 是正定核函数。接着引入交叉协方差算子 CXY ： \[C_{XY}=E[(f(X)-m_X)\otimes(g(Y)-m_Y)]\] 这里 f,g 分别是从 X 到其关联 RKHS 的卡诺瓦变换。最终 HSIC 定义为上述算子范数平方根形式: \[HSIC(P,Q,F,G)=||C_{XY}||^2_F\] 当且仅当 X,Y 彼此统计独立时取零值。 ### 应用于机器学习领域中的实例 #### 特征选择 利用 HSIC 进行特征筛选能够有效识别那些对于目标预测最有价值的信息源。例如，在时间序列分析里，可以通过比较各时刻观测值与其他潜在影响因素之间的 HSIC 得分大小来进行降维处理，从而保留最具代表性和影响力的成分。 ```python from sklearn.feature_selection import SelectKBest from skfeature.function.similarity_based.hsic_lasso import hsic_lasso_score selector = SelectKBest(score_func=hsic_lasso_score, k='all') selected_features = selector.fit_transform(data_matrix, target_vector) ``` #### 因果推断 HSIC 同样适用于探索因果结构的任务当中。借助于此度量标准可以帮助区分直接效应与间接效应，并进一步构建合理的因果图模型以便更好地理解复杂系统的运作机制。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值