AutoGluon Tabular 表数据全流程自动机器学习 AutoML

最新推荐文章于 2023-10-23 22:25:24 发布
VIP文章 最新推荐文章于 2023-10-23 22:25:24 发布
阅读量2.2k 收藏 12
点赞数 3
分类专栏： AutoML 机器学习 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cFarmerReally/article/details/105074812
版权

论文链接：
https://arxiv.org/abs/2003.06505
代码链接：
https://github.com/awslabs/autogluon

背景

表数据的AutoML近几年很火，但是目前没有一个框架做到了集大成，各有一些特色，但效果也一言难尽，比赛中选手常常用到一些可以提升效果的技术，之前的AutoML框架也都没有过多关注，关注点主要放在了模型选择和超参数调节上。

这篇文章是awslab在前两天（13 Mar 2020）挂在了arxiv上，还没有看到机器之心，新智源等媒体的跟进，毕竟是又一大厂的力作，可能马上就又上头条了吧hh。

看完这篇文章的我的评价是：对当前的主流框架做了一个很好的梳理，给了一个不错的baseline给大家当靶子，关注了之前AutoML框架少关注的stacking的过程，效果还可以，接口设计的很优雅，做了比较贴心的数据预处理，支持断点恢复，支持约束训练时间。

接下来我按照pipeline串一下逻辑。

Pipeline

from autogluon import TabularPrediction as task
predictor = task.fi
最低0.47元/天 解锁文章
__Lingyue__
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
autogluon：AutoGluon：用于文本，图像和表格数据的AutoML
02-03
用于文本，图像和表格数据的AutoML AutoGluon自动执行机器学习任务，使您可以轻松地在应用程序中实现强大的预测性能。 仅需几行代码，您就可以在文本，图像和表格数据上训练和部署高精度的机器学习和深度学习模型。 例 # First install package from terminal: # python3 -m pip install --upgrade pip # python3 -m pip install --upgrade setuptools # python3 -m pip install --upgrade "mxnet<2.0.0" # python3 -m pip install --pre autogluon from autogluon . tabular import TabularDataset , TabularPredictor train_data = TabularDataset ( 'https://autogluon.s3.amazonaws.com/datasets/Inc/train.csv' ) test_data = Tabu
carefree-learn：基于PyTorch的表格数据集的最小自动机器学习（AutoML）解决方案
01-29
carefree-learn是基于表格数据集的最小自动机器学习（AutoML）解决方案。 畅快？ carefree-learn旨在为用户和开发人员提供CAREFREE用法。 用户端 import cflearn import numpy as np x = np . random . random ([ 1000 , 10 ]) y = np . random . random ([ 1000 , 1 ]) m = cflearn . make (). fit ( x , y ) 开发方 import cflearn import numpy as np cflearn . register_model ( "wnd_full" , pipes = [ cflearn . PipeInfo ( "fcnn" ), cflearn . PipeInfo ( "linear" )]) x = np . random . random ([ 1000 , 10 ]) y = np . random . random ([ 1000 , 1 ]) m = cflearn . make ( "
AutoGluon: 深度学习的AutoML工具包-python
06-18
AutoGluon自动执行机器学习任务，使您可以轻松地在应用程序中实现强大的预测性能。 仅需几行代码，您就可以在图像，文本和表格数据上训练和部署高精度的深度学习模型 AutoGluon：用于深度学习的 AutoML 工具包 AutoGluon 可自动执行机器学习任务，使您能够在应用程序中轻松实现强大的预测性能。 只需几行代码，您就可以在图像、文本和表格数据上训练和部署高精度深度学习模型。 开始使用： # 首先从终端安装包： pip install mxnet autogluon from autogluon import TabularPrediction as task train_data = task.Dataset(file_path='https://autogluon.s3.amazonaws.com/datasets/Inc/train.csv' ) test_data = task.Dataset(file_path='https://autogluon.s3.amazonaws.com/datasets/Inc/test.csv') predictor = tas
Kaggle 2022-04月赛数据集 机器学习 tabular-playground-series-apr-2022.zip
05-03
竞赛中，数据集中包括60秒的传感器数据序列进行分类，指示受试者在序列期间是否处于两种活动状态之一。 train.csv ： 训练集，包括约26000个60秒的13个生物传感器的记录，供近1000名实验参与者使用 - sequence： 序列，每个序列的唯一id - subject： 受试者，实验中受试者的唯一id - step： 步长,录制的时间步长，以1秒为间隔 - sensor_00-sensor_12： 13个传感器在该时间步的值 train_labels: 标签, csv-每个序列的类标签。 - sequence： 序列，—每个序列的唯一id。 - state：状态，与每个序列关联的状态。这就是你试图预测的目标。 test.csv ：测试集。对于12000个序列中的每一个，您都应该预测该序列状态的值。 sample_submission.csv ：提交样品，csv-正确格式的示例提交文件。 后继将写一篇关于如何使用数据集的文章，敬请关注。
tabular_automl_NNI:PAKDD AutoML挑战第二功能工程部分
05-24
如何使用NNI进行自动要素工程？ 什么是表格数据？ 表格数据是按行和列或可能更复杂的结构排列的数据。 通常，我们将列视为要素，将行视为数据。 用于表格数据的AutoML，包括自动特征生成，功能选择以及对各种表格数据原语（例如数字，类别，多类别，时间戳等）的超调。 快速开始 在此示例中，我们将展示如何在nni上进行自动要素工程。 我们将自动要素工程（auto-fe）视为两步任务。 特征生成探索与特征选择。 我们举一个简单的例子。 调谐器调用AutoFETuner首先会生成一个命令，询问Trial原功能的feature_importance 。 试用版将在第一次迭代中将feature_importance返回给Tuner 。 然后， AutoFETuner将根据搜索空间的定义来估计功能重要性排名并决定要生成的功能。 在以下迭代中， AutoFETuner更新估计的功能重要性排名。
论文阅读 AutoGluon-Tabular
赫凯的博客
11-02 771
1、开源框架，在结构化数据里表现优异，只需要一行Python就可以在未处理的表格数据集（如CSV文件）里处理，超参数什么的都不用设置，自动进行。2、测评了市面上主流的AutoML框架，AutoGluon更快、更健壮、更准确。机器学习发展势头良好，但是机遇与风险并存。AutoML框架提供了一个诱人的替代方案。对于新手来说，他们消除了部署高性能ML模型的许多障碍。对于专家来说，它们提供了只实现一次最佳ML实践的潜力（包括模型选择、集成、超参数调优、特征工程、数据预处理、数据拆分等策略），然后能够重复部署它们。
AutoGluon包使用示例（表格、图像与多模态）
qq_20144897的博客
10-19 2868
AutoGluon包在表格数据、图像分类、多模态数据预测上的应用示例
调研AutoGluon数据处理与Tabular-NN
using namespace 数学工具构造器;
07-27 1219
hyperparams = {'NN': {'num_epochs': 10, 'activation': 'relu', 'dropout_prob': ag.Real(0.0,0.5)}, 'GBM': {'num_boost_round': 1000, 'learning_rate': ag.Real(0.01,0.1,log=True)} } 进入autogluon.task.tabular_prediction.tabular_prediction.Tabular
AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data
Jichangkai的博客
09-17 360
AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data
随便看看AutoGluon-Tabular
using namespace 数学工具构造器;
07-12 1082
论文提到预先准备一些模型，并且按一个手设的priority进行训练 # Higher values indicate higher priority, priority dictates the order models are trained for a given level. DEFAULT_MODEL_PRIORITY = dict( RF=100, XT=90, KNN=80, GBM=70, CAT=60, NN=50, LR=40,
Autogluon资料（一）——TabularPredictor参数
weixin_52561314的博客
05-12 2441
注：资料来源于tutorial EXAMPLE (PREDICTOR FOR TABULAR DATA): Import TabularDataset and TabularPredictor: from autogluon.tabular import TabularDataset, TabularPredictor Load a tabular dataset: train_data = TabularDataset("https://autogluon.s3.amazonaws.com/
适用于超小规模数据集的分类器
herosunly的博客
04-13 4936
文章目录1. 背景1.1 研究方法1.2 数据集和代码链接2. 测试结果3. 关于数据独立同分布的思考4. 结论5. 代码和数据集链接 1. 背景 1.1 研究方法   随着深度学习如火如荼的发展，对大数据的训练和学习已经非常成熟，广泛应用在学术界和工业界。但在不少打工人中往往会遇到样本个数在100到1000之间的超小规模数据集。例如，孕妇在整个妊娠期间的详细指标以及随后的新生儿情况。目前业界还不清楚这种情况下的最佳实践是什么，为了对此进行研究，制定了以下的研究方法： 获取大量用于分类的小型基准数据集，总
AutoGluon--基于表格型数据(AutoGluon Tabular)
最新发布
Weirdo3的博客
10-23 130
自动化机器学习
自动机器学习新进展！性能超过人类调参师6个点，AutoGluon 低调开源
Datawhale
01-13 1052
机器之心报道机器之心，Datawhale编辑自动机器学习效果能有多好？比如让 MobileNet1.0 backbone 的 YOLO3 超过 ResNet-50 backbone 的 ...
自动机器学习-AutoGluon: AutoML for Text, Image, and Tabular Data
知识分享，乐在学习
01-23 1806
AutoGluon-Tabular：自动化机器学习的有力工具
AutoGluon-教程2-提升更高精度
wish_to_top的博客
06-26 4530
AutoGluon-教程2-提升更高精度写在前面订正训练模型（加入验证集）选定特定分类器如何获取指定分类器的参数额外部分输出预测概率在测试集上定义其他输出标准拟合过程中发生了什么更高的输出精度定义搜索空间训练结果模型的解释性（特征的重要性）减少时间操作删除模型中部分分类器将交叉验证的模型整合到一块去参数部分碰到内存不够怎么办硬盘空间不够怎么办写在后面 写在前面 接上一节喽，链接： 订正 关于predict.显示的模型一般是最优模型，而最优模型可由predictor.get_model_best()获得 训练
无监督学习t-SNE(t-distributed stochastic neighbor embedding)
weixin_43166326的博客
04-03 508
t-SNE １．t-SNE主要是用来对高维数据进行降维可视化，它是一种非线性降维算法 ２．t-SNE将点与点之间的相似度转换为条件概率 　　 　　对于原始高维数据xix^ixi和xjx^jxj之间的相似率： P(xj∣xi)=S(xi,xj)∑k≠iS(xi,xk) \begin{aligned} P(x^j|x^i) = \frac{S(x^i,x^j)}{\sum_{k\neq i}S(x^i...
TableBank: 表格检测和识别基准数据集（A Benchmark Dataset for Table Detection and Recognition）
十里清风
12-07 4777
TableBank 表格检测 表格识别
无监督Embedding
luckyqiong
03-23 425
做无监督，关键是找到输出的标签。在NLP中，可以用win1作为输入，邻近的短语win2作为输出，来训练unsupervised deep representation 参考文献：Rie Johnson and Tong Zhang. 2015b. Semi-supervised convolutional neural networks for text categorization via re...
使用pandas读取数据，用autogluon进行训练
05-24
好的，首先需要安装pandas和autogluon库。可以使用以下命令进行安装： ``` pip install pandas autogluon ``` 接下来，我们可以使用pandas读取数据。假设我们有一个名为data.csv的数据文件，可以使用以下代码读取： ```python import pandas as pd data = pd.read_csv('data.csv') ``` 然后，我们可以将数据集拆分为训练集和测试集： ```python from sklearn.model_selection import train_test_split train_data, test_data = train_test_split(data, test_size=0.2, random_state=42) ``` 现在我们已经准备好使用autogluon进行训练。我们可以使用以下代码： ```python from autogluon.tabular import TabularPredictor label = 'target_variable' predictor = TabularPredictor(label=label).fit(train_data) # 对测试集进行预测 y_pred = predictor.predict(test_data) ``` 在这里，我们指定了目标变量的名称，并使用fit()方法训练模型。然后，我们使用predict()方法对测试集进行预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值