6 tabNet: 堪比xgboost的深度学习模型

已于 2024-04-19 16:55:08 修改
阅读量2.8k 收藏 23
点赞数 10
分类专栏： # 3 算法模型 文章标签： 人工智能
于 2024-04-17 15:27:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28611929/article/details/137873293
版权
本文介绍了TabNet模型，它利用神经网络模拟决策树，通过特征掩码和特殊设计的全连接层实现特征选择。文章详细解释了模型的工作原理，尤其是在处理表格数据和类别变量时的方法，并提到了与XGBoost和LightGBM的比较。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前用过这个模型，现在也就想写一下。看过很多资料，这个文章最舒服AI研习社 - 研习AI产学研新知，助力AI学术开发者成长。大家可以参考下。

tabnet的主体思想是用nn来表示决策树，深度学习能够对多种类型数据进行编码，并将其结合起来减轻特征工程的依赖、端到端的表征学习。

1 特征掩码 

  

        输入是特征向量 [x_1,x_2]，首先分别通过两个Mask层将x_1  和 x_2单独筛选（屏蔽一个，下面介绍如何筛选）出来，然后通过一个weight和bias都被专门设定过的全连接层，并将两个FC层的输出通过ReLU激活函数后相加起来，最后经过一个Softmax激活函数作为最终输出。如果与决策树的流程进行对比，我们可以发现其实这个神经网络的每一层都对应着决策树的相应步骤：Mask层对应的是决策树中的特征选择，这个很好理解；FC层+ReLU对应阈值判断ÿ

最低0.47元/天 解锁文章
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Google的神经网络表格处理模型TabNet介绍
deephub
10-13 7337
Google Research的TabNet于2019年发布，在预印稿中被宣称优于表格数据的现有方法。 它是如何工作的，又如何可以尝试呢？ 表格数据可能构成当今大多数业务数据。 考虑诸如零售交易，点击流数据，工厂中的温度和压力传感器，银行使用的KYC (Know Your Customer) 信息或制药公司使用的模型生物的基因表达数据之类的事情。 论文称为TabNet: Attentive Interpretable Tabular Learning（https://arxiv.org/pdf/1908.
TabNet 模型示例
C7211BA的博客
11-22 771
加载数据：从 UCI Adult Census 数据集中读取样本，进行清洗和编码。特征处理：对分类特征进行标签编码，对数值特征进行标准化。模型训练：使用 TabNet 模型对数据进行分类训练，采用早停机制提高效率。性能评估：计算模型在测试集上的准确率、精确率、召回率和 F1 分数。解释性分析：输出每个特征的重要性评分，帮助理解模型决策依据。
TabNet模型的架构图-融合决策树与神经网络的深度学习算法
最新发布
toby001111的博客
04-17 857
TabNet模型的架构图-融合决策树与神经网络的深度学习算法
Tabnet-review-pytorch:结构化数据深度学习模型Tabnet（https
04-07
Tabnet审查火炬 结构化数据深度学习模型Tabnet（ ）这是一个用于集中审查论文并编写相应代码的存储库。
深入了解 TabNet ：架构详解和分类代码实现
热门推荐
deephub
01-17 1万+
Google发布的TabNet是一种针对于表格数据的神经网络，它通过类似于加性模型的顺序注意力机制（sequential attention mechanism）实现了instance-wise的特征选择，还通过encoder-decoder框架实现了自监督学习。 表格数据是日常中用到的最多的数据类型。例如信用卡的欺诈检测：我们提取交易、身份、产品和网络属性（并将它们放入一个大的特征表中，不同的机器学习模型可以轻松地使用这些特征进行训练和推理。基于决策树的模型（例如随机森林或 XGBoost）是处理表格数据
比肩xgboost和lightgbm表格数据的最强神器tabnet，而2020年退出的tabnet神经网络专门针对表格数据而诞生的神器。实战，单任务和多任务回归！！！
weixin_44294884的博客
10-19 2490
比肩xgboost和lightgbm表格数据的最强神器tabnet，而2020年退出的tabnet神经网络专门针对表格数据而诞生的神器。实战单任务和多任务回归！！！
深度学习Tensorflow的坑（一：无法使用GPU加速训练深度学习模型，CUDA与CUDNN相关）
Dcurry的博客
11-21 4199
项目场景： 本研究僧为了秋招卷大厂放弃了半年的深度学习，重回Python的一些坑记录 问题与解决： 1：版本问题 想用GPU加速深度学习的训练一定不能同时下载tensorflow和tensorflow-gpu。 如果遇到了什么tensorflow找不到的bug，请直接删除所有带有tensorflow的包，然后找到对应版本的下载 对应版本是指CUDNN和CUDA以及你自身显卡实力对应的tensorflow-gpu版本。 2.CUDA和CUDNN下载（2、3一起看食用体验更佳！） CUDA下载比较简单 CU
(完整版)线条动画造就堪比FLASH的动画效果-PPT动画模板.ppt
11-16
【标题】：“(完整版)线条动画造就堪比FLASH的动画效果-PPT动画模板.ppt”指的是如何在PowerPoint（PPT）中利用线条动画创建出与Adobe Flash相媲美的动态效果。这个主题着重于提升PPT演示文稿的视觉吸引力和专业性，...
下一代搜索技术：软件管家堪比真人管家.docx
09-27
大数据不仅能够提供用户行为的深入洞察，还能通过持续的学习和分析，预测用户的潜在需求。随着算法的不断优化和数据积累的不断增加，智能个人管家在预测用户需求方面的准确性将越来越高，从而提供更加个性化的服务。...
Stroke_Prediction_6ML_models：该项目使用六个机器学习模型（XGBoost，随机森林分类器，支持向量机，逻辑回归，单决策树分类器和TabNet）进行笔画预测。 为此，我使用了Kaggle的“ healthcare-dataset-stroke-data”。 为了确定哪种模型最适合进行笔画预测，我绘制了每种模型的曲线下面积（AUC）。 AUC越高，模型越好
02-16
Stroke_Prediction_6ML_models 该项目使用六个机器学习模型（XGBoost，随机森林分类器，支持向量机，逻辑回归，单决策树分类器和TabNet）进行笔画预测。 为此，我使用了Kaggle的“ healthcare-dataset-stroke-data”。 为了确定哪种模型最适合进行笔画预测，我绘制了每种模型的曲线下面积（AUC）。 AUC越高，模型越好
tf-TabNet:TabNet的Tensorflow 2.0实现
05-14
Tensorflow 2.0的TabNet 本文的Tensorflow 2.0端口，其原始代码库可从。 上面的图像是从论文中获得的，其中模型是由两个阶段的块构成的-一个阶段用于关注输入要素，另一个阶段则用于构建模型的输出。 与纸张的差异 与本文和官方实施有两个主要区别。 此实现在规范化方法中提供了一种选择，可以是来自纸张的常规Batch Normalization ，也可以是Group Normalization 。 已经观察到，本文使用非常大的批处理大小来稳定“批处理归一化”并获得良好的概括性。 与此相关的一个问题是计算成本。 因此，组归一化（将组数设置为1，又称为实例归一化）提供了一个与批大小无关的合理选择。 可以将num_groups的Instance Normalization类型的行为设置为1，或-1的Layer Normalization类型的行为设置为-1。 此
TabNet的PyTorch实现-Python开发
05-25
这是Tabnet的pyTorch实现（Arik，SO，＆Pfister，T.（2019）。TabNet：专注于可解释的表格学习自述TabNet：专注于可解释的表格学习这是Tabnet的pyTorch实现（Arik，SO，＆Pfister，T. 。（2019）。TabNet：细心的可理解表格学习。arXiv预印本arXiv：1908.07442。）https://arxiv.org/pdf/1908.07442.pdf。任何问题？想要贡献？与我们交谈？您可以加入我们松弛安装易于安装您可以通过运行以下命令使用pip进行安装：pip install pytorch-tabnet源代码如果您想在ad中本地使用它
【重磅】新一代Angel正式开源，性能超越XGBoost和Spark
weixin_34185320的博客
06-28 182
腾讯大数据背靠强大的研发能力与多年数据产品建设，已有APP服务产品：1、腾讯移动分析（MTA）2、腾讯移动推送（信鸽）3、腾讯推荐现在迎来了新一代高维度的分布式机器学习框架Angel正式开源！ 经过漫长的准备和打磨，新一代的Angel终于开源了。Github地址：github.com/tencent/ang… 欢迎大家Star，Fork和提PR。新一代的Angel由腾讯和北京大学联合开发，兼...
【论文阅读】Tabnet：Attentive Interpretable Tabular Learning
weixin_45773530的博客
04-25 3307
随着深度神经网络的迅速发展，它在图像、文本和语音等领域已经广泛应用。然而，对于同样常见的表格数据，深度神经网络似乎尚未取得其他领域那样的巨大成功。在以Kaggle为代表的数据挖掘竞赛中，处理表格数据的任务仍然主要由决策树模型承担，像XGBoost和LightGBM这样的提升树模型已经成为了主流选择。那么为什么人们选择树形模型？然而，传统的深度神经网络模型往往会出现过度参数化的问题，在处理表格数据集时表现并不理想。
利用TabNet进行股票长线预测
qq_41561847的博客
03-18 2947
利用TabNet模型进行股票长线预测 提示：本篇文章只提供一个思路，因本人是金融小白，搭建模型时所参考的股票指标并不完善，所以结果准确性无法保证，各位不要将结果作为投资参考！！！ 文章目录利用TabNet模型进行股票长线预测前言一、TabNet框架介绍及下载1.TabNet介绍为何使用TabNet？2.TabNet的Pytorch版下载二、从Tushare提取股票数据1.Tushare是什么？2.从Tushare提取股票数据三、用TabNet训练数据四、测试数据并进行对比五、全部代码六、总结新的改变功能快
论文解读9——TabNet: Attentive Interpretable Tabular Learning
对流层的酱猪肘~的博客
10-09 2529
跟神经网络相比的话，决策树这类的树模型有以下几个特点：训练速度快、可解释性强、比较适合应用于表格数据。而神经网络有着较好的端到端学习的表征学习能力，可以减轻对特征工程的需求。所以这篇文章的想法就是让神经网络去模拟决策树的行为，从而获得这两者的能力。
TabNet-神经网络处理表格数据实战
weixin_40935425的博客
09-23 5541
我们知道神经网络在图片、信号等领域大放异彩。但在表格数据领域，基本还是树模型的主场。今天我们介绍下TabNet的使用方式，这是一个能够很好的处理tabular数据的神经网络模型。 下面我们介绍下TabNet的使用。 1. 安装 根据官方介绍，安装tabnet之前需要Tensorflow 2.0+版本和Tensorflow-dataset（非必须）。确保Tensorflow 2.0+正确安装之后，就可以安装TabNet了。 pip install tabnet[cpu] pip install tabnet[
tabnet模型回归
05-25
TabNet是一种基于注意力机制和稀疏特征选择的神经网络模型，适用于分类和回归任务。在TabNet中，通过特征选择模块和掩码生成器模块来对输入数据进行特征选择和特征重要性评估，以达到高效的特征选择和模型训练。 对于TabNet回归问题，可以将输出层设置为单一的线性层，以预测连续的数值输出。具体地，可以在模型中添加一个线性输出层，使输出值可以与目标值进行比较，并根据误差进行反向传播和优化。 下面是一个简单的TabNet回归模型的代码示例： ```python import torch from pytorch_tabnet.tab_model import TabNetRegressor # 加载数据集 X_train, y_train, X_test, y_test = ... # 定义TabNet模型 model = TabNetRegressor() # 训练TabNet模型 model.fit(X_train, y_train) # 使用TabNet模型进行预测 y_pred = model.predict(X_test) # 计算TabNet模型的性能指标 mse = torch.nn.functional.mse_loss(y_test, y_pred) mae = torch.nn.functional.l1_loss(y_test, y_pred) ``` 需要注意的是，在使用TabNet模型进行回归任务时，需要根据具体问题进行超参数调整和模型优化，以达到更好的性能和效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值