GAIN: Missing Data Imputation using Generative Adversarial Nets（基于生成对抗网络的缺失数据填补）论文详解

已于 2022-05-27 14:44:26 修改
阅读量2.4k 收藏 4
点赞数
分类专栏： 基于GAN的离散缺失数据填补 python PyTorch 文章标签： 生成对抗网络 人工智能 数据挖掘 深度学习 神经网络
于 2022-05-26 16:59:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/didi_ya/article/details/124984467
版权
本文深入探讨了使用生成对抗网络（GAN）处理缺失数据的方法——GAIN。介绍了背景，包括缺失数据的类型和填补算法，详细阐述了GAIN的网络架构、生成器模型、判别器模型以及提示向量的概念。文章强调了GAIN如何通过不断优化，寻找最佳填补方案，并预告了后续的代码实现分享。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

我们一直被缺失的数据包围着。长期以来，统计分析中因数据缺失而产生的问题一直被掩盖着。这些时代现在正在慢慢结束。在过去的几十年中，处理缺失数据的一系列技术已经大大扩展。本专题将介绍利用生成对抗网络进行缺失数据填补，欢迎关注。

一、背景分析

原始论文链接：GAIN: Missing Data Imputation using Generative Adversarial Nets

1.1 缺失数据

Rubin（1976. “Inference and Missing Data.” Biometrika 63 (3): 581–90.）将缺失数据问题分为三类。

  • 如果所有情况下缺失的概率都相同，则数据称为完全随机缺失（missing completely at random，MCAR）。这实际上意味着数据缺失的原因与数据无关。MCAR的一个例子是电池耗尽的称重秤。它在所有情况下缺失概率都一样；
  • 如果缺失数据仅取决于观测变量，则称为随机缺失（missing at random，MAR）。MAR是一个比MCAR更广泛的类别。例如，当放置在柔软表面上
了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于生成对抗网络的缺失数据填补方法【GAIN的pytorch版本（完整版）】
07-02
GAIN的pytorch版本，包括GAIN、SGAIN、WSGAIN-CP、WSGAIN-GP，包含十个数据集和四种缺失数据填补方法，关于GAIN的tensorflow版本，可以参考资源：https://download.csdn.net/download/didi_ya/85864095
GAIN: Missing Data Imputation using Generative Adversarial Nets学习笔记
weixin_42914912的博客
08-15 7980
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
GAIN: Missing Data Imputation using Generative Adversarial Nets 中文翻译
最新发布
自闭啦~~
04-02 637
我们提出了一种新颖的缺失数据插补方法，通过适应著名的生成对抗网络（GAN）框架。因而，我们将我们的方法称为生成对抗插补网络（GAIN）。生成器（G）观察到真实数据向量的一些组成部分，基于实际观察到的内容插补缺失的组成部分，并输出一个完整的向量。然后，鉴别器（D）接收一个完整的向量，并尝试判断哪些组成部分是实际观察到的，哪些是插补的。为了确保D迫使G学习所需的分布，我们以提示向量的形式为D提供了一些额外的信息。这个提示向D透露了关于原始样本缺失性的部分信息，D利用这些信息集中注意力于特定组成部分的插补质量。这
文献阅读—GAIN：Missing Data Imputation using Generative Adversarial Nets
u011036984的博客
11-30 5951
文章提出了一种填补缺失数据的算法—GAIN。生成器G观测一些真实数据，并用真实数据预测确实数据，输出完整的数据；判别器D试图去判断完整的数据中，哪些是观测到的真实值，哪些是填补的值。给D提供一些额外的提示信息，保证G可以学习期望的分布。提示向量向D透露了原始数据的部分信息。在多个数据集上测试了算法，算法效果较好。 一.引言 1.缺失数据可以分成三类： MCAR：完全随机缺失，数据的缺失不依赖于任何不完全变量和完全变量。 MAR：随机缺失，数据的缺失不是完全随机的，依赖...
【论文阅读】GAIN: Missing Data Imputation using Generative Adversarial Nets
weixin_45142381的博客
11-14 1202
【论文阅读】GAIN: Missing Data Imputation using Generative Adversarial Nets
论文解析八： GAN：Generative Adversarial Nets（生成对抗网络）
kaszxc的博客
10-23 1549
文章提出了一个新的framework（framework通常是一个比较大的模型）用来估计生成模型，通过对抗的过程，同时会训练两个模型**生成模型G：**用来抓取整个数据的分布（生成模型就是要对整个数据的分布进行建模，使得能够生成各种分布，这里的分布就是指的生成图片、文字或者电影等，在统计学中，整个世界是通过采样不同的分布来得到的，所以如果想要生成东西，就应该抓取整个数据的分布）**辨别模型D：**用来估计样本到底是从真正的数据生成出来的还是来自生成模型生成出来的。
GAIN：利用生成对抗网络进行缺失数据填充解析
"GAIN论文解读PPT，介绍了一种使用生成对抗网络（GAN）进行缺失数据填充的方法，GAIN（Generative Adversarial Imputation Nets）。该资源涉及到自然语言处理（NLP）、深度学习和GAN技术，并引用了2018年ICML会议的...
Gain more than oracle 2
12-08
doc for oracle to learn.
GAIN:生成对抗式插补网络（GAIN）的代码库-ICML 2018
05-23
“生成对抗式插补网络（GAIN）”的代码库 作者：尹振成，詹姆斯·乔登，米哈埃拉·范德沙尔 论文：Jinsung Yoon，James Jordon，Mihaela van der Schaar，“ GAIN：使用生成对抗网络进行数据插补”，国际机器学习会议（ICML），2018年。 论文链接： : 联络人： 该目录包含使用两个UCI数据集进行插补的GAIN框架的实现。 UCI信（ ） UCI垃圾邮件（ ） 要运行有关GAIN框架的培训和评估管道，只需运行python3 -m main_letter_spam.py。 请注意，任何模型体系结构都可以用作生成器和鉴别器模型，例如多层感知器或CNN。 命令输入： data_name：字母或垃圾邮件 miss_rate：缺少组件的概率 batch_size：批量大小 hint_rate：提示率 alpha：超参数 迭代：
python 缺失值处理的方法（Imputation）
01-01
一、缺失值的处理方法 由于各种各样的原因，真实世界中的许多数据集都包含缺失数据，这些数据经常被编码成空格、nans或者是其他的占位符。但是这样的数据集并不能被scikit – learn算法兼容，因为大多数的学习算法都会默认数组中的元素都是数值，因此素偶有的元素都有自己的代表意义。 使用不完整的数据集的一个基本策略就是舍弃掉整行或者整列包含缺失值的数值，但是这样处理会浪费大量有价值的数据。下面是处理缺失值的常用方法： 1.忽略元组 当缺少类别标签时通常这样做（假定挖掘任务涉及分类时），除非元组有多个属性缺失值，否则该方法不是很有效。当每个属性缺少值的百分比变化很大时，它的性能特别差。 2.人工
GAIN论文解读PPT
07-28
GAIN Missing Data Imputation using Generative Adversarial Nets 解析PPT
ICML2018论文GAIN补充材料
11-28
此论文是GAIN：Missing Data Imputation using Generative Adversarial Nets 的 Supplementary Materials，里面包括论文公式推导以及代码参数设置
GAIN-GTEx：带有生成对抗性插补网络的基因表达插补
02-13
带有生成对抗性插补网络（GAIN-GTEx）的基因表达插补 该存储库包含论文《的代码 作者： RamonViñas，Tiago Azevedo，Eric R. Gamazon和PietroLiò 抽象的 基本生物学意义的问题是，基因子集的表达可在多大程度上恢复完整的转录组，这对生物学发现和临床应用具有重要意义。 为了解决这一挑战，我们提出了基于增益对抗插补网络的基因表达插补方法GAIN-GTEx。 为了提高我们方法的适用性，我们利用了GTEx v8的数据，GTEx v8是一种参考资源，已从多种人体组织中生成了完整的转录组。 我们将模型与几种标准和最新的插补方法进行了比较，结果表明，GAIN-GTEx在预测性能和运行时间方面均明显优越。 此外，我们的结果表明，在不同缺失水平上，来自3种癌症类型的RNA-Seq数据具有很强的概括性。 我们的工作可以促进将大规模RNA生物存储库经济有效地整合到
基于生成对抗网络的缺失数据填补方法【GAIN的tensorflow版本（完整版）】
07-02
GAIN的tensorflow版本，包括GAIN、SGAIN、WSGAIN-CP、WSGAIN-GP，包含十个数据集和四种缺失数据填补方法，关于GAIN的pytorch版本，可以参考资源：https://download.csdn.net/download/didi_ya/85864128
使用GAIN模型进行缺失数据填充（Python实现）
持续更新
05-07 1749
其主要思想是使用生成器生成缺失数据记录的估计值，并使用判别器判断生成的估计值与实际值之间的差异，从而不断优化生成器和判别器，最终得到较为准确的缺失数据填充结果。上述示例中，我们使用了一个10维的数据集，含有1000条数据记录，并随机设置了20%的数据缺失率。训练过程中，我们采用默认的参数设置，包括隐藏层大小为64、迭代次数为10000、批次大小为128、学习率为0.001。最后得到的填充数据保存在。为了能够更好地利用这些数据，我们可以使用机器学习中的方法进行缺失数据填充，其中一种方法就是使用GAIN模型。
用GAIN来补充缺失数据之论文篇（一）
YUxuaN0721的博客
07-22 4246
原文章 如下图是算法的图示： 在这个算法中，我们定义如下几个变量： 通过原始数据保留未缺失的数据得到：  X~={Xiif Mi =1∗otherwise \ \tilde X = \begin{cases} X_i&\text{if $M_i$ =1}\\ *&\text otherwise \end{cases}  X~={Xi​∗​if Mi​ =1otherwise​ 接下来通过训练生成器通过随机变量Z来填补： Xˉ=G(X
FGAN介绍及代码实现——基于生成对抗网络的缺失数据填补
Wendy的博客
02-28 1790
包括GAIN在内的许多现有的方法都认为标签预测是一个数据填充后的问题，也就是说，他们首先填充数据，然后开发一个预测模型，就好像数据是完全观测的。数据填充完后，再使用新的预测器进行标签预测。将数据填充与标签预测两个任务分割开来。然而数据填充与标签预测之间的脱节很可能会损害标签预测的准确性，但我们最关心的任务实际上是标签预测任务的性能。在本节中，我们提出了一个数据填充与标签预测的统一框架，将数据填充和标签预测两个任务结合在一起。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wendy_ya

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值