![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
A表格学习
文章平均质量分 97
算法部署
大数据驱动AI
多讨论、多实践、多传授!多用心。
展开
-
2020_TabNet: Attentive Interpretable Tabular Learning
我们提出了一种新颖的高性能且可解释的规范深度表格数据学习架构 TabNet。TabNet 使用顺序注意力来选择在每个决策步骤中要推理的特征,从而实现可解释性和更高效的学习,因为学习能力用于最显着的特征。我们证明 TabNet 在各种非性能饱和的表格数据集上优于其他变体,并产生可解释的特征归因以及对其全局行为的洞察。最后,我们演示了表格数据的自监督学习,在未标记数据丰富时显着提高了性能。原创 2024-05-21 11:12:26 · 996 阅读 · 0 评论 -
2020_TabTransformer
我们提出了TabTransformer,这是一种用于监督和半监督学习的新型深度表格数据建模架构。TabTransformer是建立在基于自我注意力的Transformers之上的。Transformer层将分类特征的嵌入转换为强大的上下文嵌入,以实现更高的预测准确性。通过对15个公开数据集的广泛实验,我们表明TabTransformer在平均AUC上比最先进的表格数据深度学习方法至少高出1.0%,并且与基于树的集成模型的性能相匹配。此外,我们证明了从。原创 2024-03-14 20:15:30 · 600 阅读 · 0 评论 -
2020_VIME
自监督和半监督学习框架在使用图像和语言领域的有限标记数据训练机器学习模型方面取得了重大进展。这些方法严重依赖于领域数据集中的独特结构(例如图像中的空间关系或语言中的语义关系)。它们不适用于不具有与图像和语言数据相同的显式结构的一般表格数据。在本文中,我们通过提出新颖的表格数据自监督和半监督学习框架来填补这一空白,我们将其统称为 VIME(值插补和掩模估计)。除了用于自监督学习的重建借口任务之外,我们还创建了一个新颖的借口任务,即从损坏的表格数据中估计掩模向量。原创 2024-05-21 09:21:36 · 829 阅读 · 0 评论 -
2019表格学习_NEURAL OBLIVIOUS DECISION ENSEMBLES FOR DEEP LEARNING ON TABULAR DATA
如今,深度神经网络 (DNN) 已成为视觉、NLP 和语音等广泛领域机器学习任务的主要工具。与此同时,在异构表格数据的一个重要案例中,DNN 相对于浅层网络的优势仍然值得怀疑。特别是,没有足够的证据表明深度学习机制允许构建优于梯度提升决策树(GBDT)的方法,而梯度提升决策树通常是表格问题的首选。在本文中,我们介绍了神经不经意决策集成(NODE),这是一种新的深度学习架构,旨在处理任何表格数据。原创 2024-05-19 10:37:22 · 900 阅读 · 0 评论 -
2019_AutoInt
点击率(CTR)预测的目的是预测用户点击广告或项目的概率,其对于诸如在线广告和推荐系统的许多在线应用至关重要。该问题非常具有挑战性,因为(1)输入特征(例如,用户ID、用户年龄、项目ID、项目类别)通常是稀疏的和高维的,以及(2)有效的预测依赖于高阶组合特征(也称为,交叉特征),这对于领域专家手工制作是非常耗时的,并且不可能被枚举。因此,人们一直在努力寻找稀疏和高维原始特征及其有意义的组合的低维表示。在本文中,我们提出了一个有效的和高效的方法称为AutoInt自动学习输入功能的高阶功能的相互作用。原创 2024-03-02 15:14:11 · 765 阅读 · 0 评论 -
2017_DCN(Deep & Cross Network for Ad Click Predictions)
特征工程是许多预测模型成功的关键。然而,该过程是不平凡的,并且优化需要手动特征工程或穷举搜索。DNN能够自动学习特征交互;然而,它们隐式地生成所有交互,并且在学习所有类型的交叉特征时不一定有效。深度和交叉网络(DCN),它保留了DNN模型的优点,除此之外,它还引入了一种新的交叉网络,在学习某些有界度特征交互方面更有效。特别是,DCN在每一层都显式地应用特征交叉,不需要手动特征工程,并为DNN模型增加了可忽略的额外复杂性。原创 2024-02-29 15:20:05 · 830 阅读 · 0 评论 -
综述2024_Transformers for Tabular Data Representation: A Survey ofModels and Applications
在过去的几年中,自然语言处理社区见证了基于 Transformer 的语言模型 (LM) 的自由文本神经表示方面的进步。鉴于表格数据中可用知识的重要性,最近的研究工作通过开发结构化数据的神经表示来扩展语言模型。在本文中,我们提出了一项分析这些努力的调查。我们首先根据传统的机器学习管道在训练数据、输入表示、模型训练和支持的下游任务方面抽象出不同的系统。对于每个方面,我们都描述并比较了所提出的解决方案。最后,我们讨论了未来的工作方向。原创 2024-05-06 13:03:32 · 603 阅读 · 0 评论 -
综述2022_Revisiting Pretraining Objectives for Tabular Deep Learning
最新的表格数据深度学习模型目前正在与基于决策树 (GBDT) 的传统机器学习模型竞争。与 GBDT 不同,深度模型还可以从预训练中受益,预训练是 DL 视觉和 NLP 的主力。对于表格问题,提出了几种预训练方法,但并不完全清楚预训练是否能提供一致的显着改进以及应该使用什么方法,因为这些方法通常不会相互比较,或者比较仅限于最简单的 MLP 架构。在这项工作中,我们的目标是确定预训练表格深度学习模型的最佳实践,这些模型可以普遍应用于不同的数据集和架构。原创 2024-05-08 14:52:36 · 684 阅读 · 0 评论 -
综述2022_Why do tree-based models still outperform deep learning on typical tabular data?
虽然深度学习在文本和图像数据集上取得了巨大进步,但其在表格数据上的优越性尚不清楚。我们在大量数据集和超参数组合中提供了标准和新颖的深度学习方法以及基于树的模型(例如 XGBoost 和随机森林)的广泛基准。我们定义了来自不同领域的 45 个数据集的标准集,这些数据集具有表格数据的清晰特征以及用于拟合模型和寻找良好超参数的基准测试方法。结果表明,即使不考虑其卓越的速度,基于树的模型在中等规模的数据(~10K 样本)上仍然保持着最先进的水平。原创 2024-05-08 09:47:06 · 108 阅读 · 0 评论 -
综述2022_Revisiting Deep Learning Models for Tabular Data
关于表格数据深度学习的现有文献提出了各种新颖的架构,并报告了各种数据集上的竞争结果。然而,所提出的模型通常没有适当地相互比较,现有的作品往往使用不同的基准和实验协议。因此,研究人员和实践者都不清楚什么模型表现最好。此外,该领域仍然缺乏有效的基线,即在不同问题上提供有竞争力的性能的易于使用的模型。在这项工作中,我们对表格数据的DL架构的主要系列进行了概述,并通过识别两个简单而强大的深层架构来提高表格DL中的基线。第一个是一个类似ResNet的架构,这是一个强大的基线,在以前的作品中经常缺失。原创 2024-05-08 17:06:45 · 588 阅读 · 0 评论 -
综述2022_Deep Neural Networks and Tabular Data: A Survey
异构表格数据是最常用的数据形式,对于许多关键和计算要求较高的应用程序至关重要。在同质数据集上,深度神经网络多次表现出优异的性能,因此被广泛采用。然而,它们适应表格数据进行推理或数据生成任务仍然极具挑战性。为了促进该领域的进一步进展,这项工作概述了表格数据的最先进的深度学习方法。我们将这些方法分为三组:数据转换、专用架构和正则化模型。对于每个群体,我们的工作提供了主要方法的全面概述。此外,我们讨论了生成表格数据的深度学习方法,并概述了解释表格数据深度模型的策略。原创 2024-05-10 11:24:07 · 882 阅读 · 0 评论 -
综述2021_Explainable Artificial Intelligence for Tabular Data: A Survey
摘要 机器学习技术由于在学术界和工业界各个学科的广泛使用而越来越受到关注。尽管取得了巨大的成功,但许多此类技术都遇到了“黑匣子”问题,即数据分析师无法解释为什么此类技术会做出某些决策的情况。这个问题激发了人们对可解释人工智能(XAI)的兴趣,它指的是人类可以轻松解释的技术。不幸的是,其中许多技术并不适合表格数据,考虑到表格数据在金融、医疗保健和刑事司法等关键应用中的重要性和广泛使用,这是令人惊讶的。同样令人惊讶的是,尽管有关 XAI 的文献数量巨大,但迄今为止仍然没有关注表格数据的调查文章。原创 2024-05-11 23:27:56 · 642 阅读 · 0 评论