automl以及lightgbm处理财务金融数据

最新推荐文章于 2023-12-24 14:35:50 发布
最新推荐文章于 2023-12-24 14:35:50 发布
阅读量180 收藏
点赞数
分类专栏： 团队学习笔记 文章标签： 金融
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq2352/article/details/127254757
版权

文章目录

一、特征工程

通过pandas语法将一些用浮点数字表示的类别列重设为category或者int可能会更好，不一定暂时不需要。在原始的dataframe中的整数基本上时类别除了（‘Timeliness of Financial Reporting’, '公司年龄 ’ ,'上市年数 '）分别对应6，10，11。验证得到基本不会影响结果
一些仅有一个值的列将会被删除以及一些副本列也会被删除

自定义特征工程看下面的文件：
examples/tabular/example_custom_feature_generator.py.

f3与f2,f1的分布有比较大的差别，故f3的效果较差

二、模型参数寻找

#选中特定的一些模型
model_indx = 2
model_to_use = predictor.get_model_names()[model_indx]
specific_model = predictor._trainer.load_model(model_to_use)
model_info = specific_model.get_info()

具体点可以看sitepackget的autogluon的源码

qian笑
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 - AutoML框架LightGBM初体验
学以致用 知行合一
03-17 1845
LightGBM是一个梯度提升框架，它使用基于树的学习算法。具有以下优点： 1、更快的训练速度和更高的效率。 2、降低内存使用率。 3、更好的准确性。 4、支持并行、分布式和 GPU 学习。 5、能够处理大规模数据。 在公共数据集上的比较实验表明，LightGBM 在效率和准确性上都优于现有的 boosting 框架，并且显着降低了内存消耗。更重要的是，分布式学习实验表明，LightGBM 可以通过
构建xgboost和lightgbm模型（某金融数据集）
憨宝宝的博客
04-10 2988
导入各种包 import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score,f1_score from xgboost import XGBClassifier from lightgbm imp...
基于lightgbm的金融风控算法实践（Python版）
Python学习与数据挖掘
09-11 1271
这么高的坏账情况，如果小贷机构在对借贷用户信用情况的掌握不足，即使高利率也未必覆盖这么高的信用风险。可见，风控能力是小贷业务控制损失的核心，风控体系通常由 反欺诈（证件信息核实、人脸识别验证、黑名单）+ 申请评分模型组成。风控好坏关键在于数据获取及积累。一个明显差异体现在于，机构新借贷的用户坏账率是20~30%（里面骗贷欺诈的比重应该挺高），而对于在机构内复贷的老用户（之前有借贷的再重复贷款的用户）坏账率仅有4%。也就是，对于机构有掌握借贷历史的用户，其坏账率是显著较低的！
​一文彻底搞懂自动机器学习AutoML：EvalML
Python学习与数据挖掘
05-03 1002
本文将系统全面的介绍自动机器学习的其中一个常用框架: EvalML，一起学习如何在 Python 中将 EvalML 用于 AutoML，并通过一个简单实例说明如何使用EvalML为二​分类任务。喜欢本文记得收藏、点赞、关注。 完整版代码、数据、技术交流，文末获取 一般来说，要构建一个更好的机器学习模型，需要数据科学家具备良好的机器学习知识、编程技能、数学（线性代数）专业知识和领域知识。如果你是一个初学者，或对专业领域知识并不是很熟悉，那么要想成为掌握所有这些技能的专家并不总是那么容易。此时使用 AutoM
【AI读论文】AutoML的8年回顾：分类、综述与趋势
小数志
11-20 479
论文标题：Eight years of AutoML: categorisation, review and trends论文链接：https://link.springer.com/article/10.1007/s10115-023-01935-1本文主要围绕自动机器学习（AutoML）展开了系统性的文献综述，总结了该领域的主要观点和发现。以下是对每个章节的主要观点的归纳总结：摘要AutoML...
OptGBM：Optuna + LightGBM = OptGBM
02-15
OptGBM OptGBM（= + ）提供了一种scikit-learn兼容的估算器，可通过Optuna调整LightGBM中的超参数。例子import optgbm as lgbfrom sklearn . datasets import load_bostonreg = lgb . LGBMRegressor ( random_state ...
AutoML
02-24
目前一个优秀的机器学习和深度学习模型，离不开这几个方面： 一、优秀的数据预处理； 二、合适的模型结构和功能；...当然AutoML并不简单的进行暴力或者随机的搜索，其仍然需要机器学习方面的知识，例如贝叶斯优化、强
利用AutoCAD开发实验数据处理程序.pdf
08-15
#资源达人分享计划#
基于AutoCAD数据处理技术.pdf
08-15
#资源达人分享计划#
HyperGBM:用于表格数据的完整流水线 AutoML 工具
07-24
超级GBM | 我们正在招聘！ 亲爱的朋友们，我们正在北京为热衷于 AutoML/NAS 的专业人士和实习生开设几个宝贵... 顾名思义，HyperGBM中使用的ML算法都是GBM模型，更准确的说是梯度提升树模型，目前包括XGBoost、Light
自动化机器学习（AutoML）之自动贝叶斯调参
02-24
【导读】机器学习中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法。贝叶斯优化是一种用模型找到函数最小值方法，已经应用于机器学习问题中的超参数搜索，这种方法性能好，同时比随机搜索省时。此外，现在有许多Python库可以实现贝叶斯超参数调整。文章由贝叶斯优化方法、优化问题的四个部分、目标函数、域空间、优化过程、及结果展示几个部分组成。贝叶斯优化通过基于目标函数的过去评估结果建立替代函数（概率模型），来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下
AutoGluon安装及示例
ahahayaa的博客
03-19 3733
Autogluon的发明人是李沐（Mu Li）和他在亚利桑那州立大学的研究团队。 Autogluon是一种**自动化机器学习工具**, 可以同时支持两种模式：**迁移学习模式**和**自动机器学习模式**。
自动机器学习AutoML-Autogluon
最新发布
qq_45939398的博客
12-24 1266
AutoGluon是一个具有自动化机器学习功能的开源框架，它旨在简化机器学习模型的训练和部署过程。AutoGluon提供了一种简单、灵活且高效的方法，可以自动化地完成特征工程、模型选择和超参数调优等流程，从而为开发者提供了更多的时间和精力来解决其他问题。自动化特征工程：AutoGluon可以自动分析数据集中的特征，并根据其类型和特性进行转换和编码。它可以处理数值特征、类别特征和文本特征，并自动选择适当的转换方法。此外，AutoGluon还可以处理缺失值和异常值，并生成新的特征以提高模型的性能。
automl框架:AutoGluon介绍
热门推荐
和木的专栏
06-07 1万+
文章目录automl框架:AutoGluon介绍原理安装案例加载数据集测试通过leaderboard查看各个学习器参考 automl框架:AutoGluon介绍 原理 大部分automl框架是基于超参数搜索技术，例如基于贝叶斯搜索的hyperopt技术等 AutoGluon则依赖融合多个无需超参数搜索的模型，三个臭皮匠顶个诸葛亮 stacking: 在同一份数据上训练出多个不同类型的模型，这些模型可以是KNN、tree、核方法等，这些模型的输出进入到一个线性模型里面得到最终的输出，就是对这些输出做加权求和
autogluon--自动机器学习快速训练模型
xzpdxz的博客
01-20 3860
AutoGluon AutoGluon 自动执行机器学习任务，使您能够轻松地在应用程序中实现强大的预测性能。只需几行代码，您就可以在文本、图像和表格数据上训练和部署高精度机器学习和深度学习模型。 支持的任务 表格数据预测任务 文本数据预测任务 图像分类预测任务 物体检测预测任务 安装 $ pip install -U "mxnet<2.0.0" -i https://pypi.tuna.tsinghua.edu.cn/simple # cpu版本 $ pip install -U "mxnet
AutoML入门:AutoGluon
weixin_44157403的博客
04-26 593
problem definition 和 data减少专家知识依赖缩短AI应用投产时间标准化建模流程，模块化发展业务适应业务发展按模型类型划分， AutoML可以被分为传统机器学习和针对深度学习的NAS(neural architecture search)。传统机器学习模型的自动化学习包含基础特征工程，算法选择以及机器学习pipeline等合成。针对深度学习的NAS，被视作一种自动设计神经网络的技术。通过NAS，根据样本集设计出高性能兼具准确率的网络结构。
autogluon
weixin_42596214的博客
01-11 353
AutoGluon 是一个开源的深度学习自动机器学习库，由 AWS 团队开发和维护。它可以自动调整超参数并选择最佳的深度学习模型来解决回归和分类问题。AutoGluon 提供了一种简单易用的界面来控制自动机器学习流程，并且可以与其他常用的深度学习框架集成。 ...
【AutoGluon_02】更优精度与特征重要性
07-29 938
除了autogluon最基础的模型之外，还可以对其进行调参等操作，这样跑出来可以有更高的准确率。
AutoML之flaml：基于OpenML数据集利用flaml框架自动寻找最优算法及其对应最佳参数(对比lightgbm和xgboost算法)实现预测航班是否延误二分类任务案例之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-29 8724
​ AutoML之flaml：基于OpenML数据集利用flaml框架自动寻找最优算法及其对应最佳参数(对比lightgbm和xgboost算法)实现预测航班是否延误二分类任务案例之详细攻略 目录 # 1、定义数据集 # 3、模型训练与评估 # 4、模型推理 # 5、分析automl训练 # 6、对比默认XGBoost/LightGBM实验结果 # 1、定义数据集 Airline Flight AirportFrom AirportTo DayOfWeek Time Le
如何构建lightGBM
06-02
构建 LightGBM 的步骤如下： 1. 安装 CMake：LightGBM 是用 C++ 编写的，因此需要使用 CMake 来构建。 2. 下载 LightGBM 源代码：可以从 LightGBM 的官方 GitHub 页面下载最新的源代码。 3. 编译 LightGBM：在终端中进入 LightGBM 的源代码目录，运行以下命令： ``` mkdir build cd build cmake .. make -j4 ``` 这将创建一个名为 build 的目录，然后运行 CMake 来构建 LightGBM。make 命令将使用 4 个线程来编译 LightGBM，可以根据自己的需求修改 -j 参数。 4. 安装 LightGBM：完成编译后，可以运行以下命令来安装 LightGBM： ``` sudo make install ``` 这将把 LightGBM 安装到系统中，以便在代码中使用。 5. 测试 LightGBM：可以运行以下命令来运行 LightGBM 的测试套件： ``` cd ../tests ./run_tests.sh ``` 这将运行 LightGBM 的测试套件，并输出测试结果。 6. 使用 LightGBM：在代码中使用 LightGBM，需要包含 LightGBM 的头文件，并链接 LightGBM 库。例如，在 C++ 代码中使用 LightGBM，可以添加以下代码： ``` #include <LightGBM/lightgbm.h> int main(int argc, char** argv) { // 加载数据 auto dataset = LightGBM::Dataset::CreateFromFile("train.txt", nullptr, 0, 0, "libsvm"); // 配置参数 LightGBM::Config config; config.boosting_type = LightGBM::BoostingType::kGBDT; config.num_threads = 4; // 训练模型 auto model = LightGBM::Train(config, dataset); // 预测 std::vector<float> input = {1.0, 2.0, 3.0}; std::vector<float> output; model->Predict(input, output); return 0; } ``` 在编译时，需要链接 LightGBM 库。例如，在 Linux 上编译上面的代码，可以使用以下命令： ``` g++ main.cpp -o main -llightgbm ``` 这样就可以构建和使用 LightGBM 了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值