shap不能做多变量回归？为什么老爆内存？

于 2024-07-16 23:43:49 发布
阅读量201 收藏
点赞数 4
分类专栏： 那些年踩过的坑 文章标签： 自然语言处理 人工智能 gpt-3 nlp bert sklearn 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victor_manches/article/details/140479823
版权

问题

接上文，在解决了catboost可以做多任务回归之后，shap又遇到了kernel崩溃的问题，心态崩溃ing，如下图
在这里插入图片描述

原因

在尝试了各种解决方法之后，发现是因为SHAP跑的时候，树的深度太深会使得内存爆掉。

解决方法

既然是深度太深了爆内存，那么就把catboost的树的深度降到最低就好了，我这里试了试大概是5层。问题完美解决！
吐槽一下SHAP网上资料太少了。。。

在这里插入图片描述

曼城周杰伦
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
AI系统根因分析原理与代码实战案例讲解
禅与计算机程序设计艺术
07-02 316
AI系统根因分析原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM AI系统根因分析原理与代码实战案例讲解 关键词：A
CatBoost 是如何做特征选择的？
AI蜗牛车
07-13 1643
特征选择是指从最相关的特征中选择一个子集进行模型训练的过程。特征选择是非常有用的，原因在于：简化模型解释减轻过拟合减少训练时间减少内存消耗特征选择算法特征选择技术可以分为几组：包装法 - 基于训练模型的权重/系数消除特征。过滤法 - 基于一些统计数据以及特征与目标变量之间的相关性来消除特征（无需训练模型）。嵌入法 - 在模型训练期间消除特征，例如，通过应用 L1 正则化。...
机器学习也能绘制列线图吗？这篇文章预测模型统计方法大集成，有点意思
郑老师统计
07-01 826
什么是机器学习？通俗来讲，机器学习是以数据为研究对象，通过统计学方法构建模型并应用模型对数据进行预测与分析，是一门数据驱动的学科。通常而言，机器学习代指一些较为复杂的模型，例如监督式学习的基于树的Random forest，Decision tree或SVM，以及无监督式学习的K-means聚类，PCA,又或者是深度学习中的神经网络等等。当然，在定义上，我们所常用的回归，例如线性回归，逻辑回归，C...
Stata: 断点回归 (RDD) 教程
Stata连享会
01-06 3万+
  作者：张子楠 (浙江财经大学) Stata 连享会： 知乎 | 简书 | 码云 | CSDN | StataChina公众号 Stata连享会   计量专题 || 精品课程 || 简书推文 || 公众号合集   连享会计量方法专题…… 文章目录连享会计量方法专题……1. RDD基本原理2. 图形观察2.1 生成模拟数据2.2 断点效应的图形观察3. 政策效应估计3.1 局部...
机器学习与商业结合，最重要的是什么？
CDA数据分析师
08-07 200
作者 | 张雨姝、徐粲 来源 | 读芯术 纯学术性地建立机器学习模型与为企业提供端对端的数据科学解决方案（如生产制造、金融服务、零售、娱乐、医疗保健）之间存在着巨大差异。 在机器学习方面，企业最常面临的问题是什么呢？除了培养机器学习模型，我们还能做什么？如何准备数据？如何扩大数据集？为什么特征工程如此关键？如何将模型运用到生产实践，成为完全可行的系统呢中？如果能从...
想让机器学习与商业结合，最重要的是什么？
chiyingge5323的博客
07-22 218
全文共6008字，预计学习时长12分钟 图片来源：IBM 纯学术性地建立机器学习模型与为企业提供端对端的数据科学解决方案（如生产制造、金融服务、零售、娱乐、医疗保健）之间存在着巨大差异。 在机器学习方面，企业最常面临的问题是什么呢？除了培养机器学习模型，我们还能做什么？如何准备数...
利用XGBoost、Information Value、SHAP寻找“小北极星“指标与分层处理
Monkeyhou1992的博客
09-03 738
利用XGBoost、Information Value、SHAP寻找"小北极星"指标与分层处理聚类算法是什么监督学习、非监督学习、半监督学习与强化学习的概念距离计算方法（相似性）K-means算法逻辑如何评价k-means聚类算法k-means聚类算法如何选出最佳k值K-means的优缺点及应用场景改进和其他常用聚类算法与K-means算法类似的k-modes和k-prototypesDensity-based methods基于密度的聚类算法 DBSCAN 聚类算法是什么 简单来说，聚类算法（cluste
Python数据分析——California房价的线性梯度提升回归模型学习笔记
xlsj雪松的博客
03-27 1792
1 需求分析 模型的输出，是某个地区的房价。 显而易见是监督学习的任务。 另外，因为这是个预测准确值的任务，所以它也是个回归任务。 注： 1）监督学习（Supervised learning）：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知 的关系，训练得到一个最优的模型。也就是说，在监督学习中训练数据既有特征(feature)又有标签(label)， 通过训练，让机器可...
DS/ML：数据科学技术之机器学习领域六大阶段最强学习路线(初步探索性数据分析EDA→数据预处理/广义的特征工程→模型训练/评估/推理→模型分析/反思/再优化→模型部署与监控→模型全流程优化)详解
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-31 6万+
DS/ML：数据科学技术之机器学习领域六大阶段最强学习路线(初步探索性数据分析EDA→数据预处理/广义的特征工程→模型训练/评估/推理→模型分析/反思/再优化→模型部署与监控→模型全流程优化)详解 导读：数据科学和机器学习实战最强学习路线，博主这次花了真的是好久好久的时间(大概数不清的凌晨吧)，以数据科学生命周期和机器学习工程化的视角进行了精心整理，今天终于结束了，真心不容易……希望能够对家学习数据科学和机器学习技术有所帮助。本文章是博主在数据科学和机器学习领域，先后实战过几百个应用案例之后的精心总结
digit为被预测变量的shap模型(2).py
10-31
digit为被预测变量的shap模型(2).py
构建的Boruta+SHAP分析+立方样条回归R语言shiny应用
05-08
Boruta+SHAP分析+立方样条回归分析流程是一个快速的发现变量间关系的数据分析过程，现在将以上流程整合到一个APP中，实现了快速简便的数据分析，同时展示了shinyAPP的构建过程，采用了目前流行的shiny+bslib库的方式...
手把手教你使用SHAP（数据+代码+注释）
05-09
1. 同名博客：手把手教你使用SHAP 2. 实例讲解，包括（数据+代码+注释） 3. 可自定义图的标签、字体大小等设置 4. 基于jupyter，python代码，可直接运行 5. 若有疑问，可在同名博客...
shap python程序
最新发布
07-09
shap python程序
shap分析mnist实验复现1.rar
11-30
标题中的"shap分析mnist实验复现1.rar"指的是一个关于使用SHAP（SHapley Additive exPlanations）方法来解释PyTorch模型预测的实验，该实验基于经典的MNIST手写数字识别数据集。这个压缩包包含了实现这一分析的代码...
cnn-shap.txt
06-14
cnn-shap.txt
SHAP分析Mnist数据集遮掩实验复现代码
11-30
而SHAP是一种模型解释技术，它基于博弈论中的Shapley值理论，旨在为机器学习模型的预测提供可理解的解释。 在"一个统一的方法来解释模型预测"这篇论文中，提出了几种评估模型解释性的标准，其中包括SHAP分析。SHAP...
shap面拓扑处理工具箱
08-08
shap面拓扑处理工具箱，全面处理arcgis重叠面，重叠处理，完美解决重叠面域。GIS技术中，可将拓扑理解为一种描述地理空间关系的模型，一种维护地理空间实体间空间几何关系的机制。而拓扑关系是指地理空间实体间的一...
FME经纬度（度分秒）坐标转换为shap矢量图形工具
03-01
描述中提到的转换“仅限于面文件转换”，这意味着FME工作空间可能只针对多边形类型的几何进行处理，不包括点或线。如果输入的经纬度数据包含点或线，它们可能需要在转换前进行筛选或重新分类。 7. **“使用说明....
mysql 数据库blob类型应该用C shap的什么类型来做ORM？
09-07
### 回答1： 在 C# 中，可以使用 `byte[]` 类型来映射 MySQL 的 `BLOB` 类型。 例如，在使用 Entity Framework 进行 ORM 映射时，你可以这样定义实体类的 `BLOB` 字段： ```csharp public class MyEntity { // ... public byte[] MyBlobField { get; set; } } ``` 在使用 ADO.NET 进行数据访问时，你可以使用 `SqlDbType.Binary` 或 `SqlDbType.VarBinary` 类型来定义参数，然后将 `byte[]` 类型的值传递给参数： ```csharp using (var connection = new SqlConnection(connectionString)) { connection.Open(); using (var command = connection.CreateCommand()) { command.CommandText = "INSERT INTO MyTable (MyBlobField) VALUES (@myBlobField)"; command.Parameters.Add("@myBlobField", SqlDbType.VarBinary).Value = myBlobValue; command.ExecuteNonQuery(); } } ``` 最后，请注意，`BLOB` 类型数据在 MySQL 中存储的是二进制数据，因此在使用 `byte[]` 类型进行 ORM 映射时，请注意不要将其与字符串类型混淆。 ### 回答2： 在C#中，可以使用byte[]类型来映射MySQL数据库中的BLOB类型字段。BLOB类型是用于存储大数据量的二进制数据的字段类型，例如图片、音频、视频等。 在使用ORM（对象关系映射）操作MySQL数据库时，可以将BLOB类型字段映射为C#中的byte[]类型。byte[]类型可以存储字节数组，可以方便地保存和读取BLOB数据。 使用C#的ORM框架进行MySQL数据库的操作时，可以通过定义实体类来映射数据库表，将BLOB类型字段在实体类中声明为byte[]类型的属性。ORM框架会负责将数据库中的BLOB数据转换为byte[]类型，以便应用程序进行处理。 通过使用byte[]类型来映射MySQL数据库中的BLOB类型字段，可以方便地进行BLOB数据的存储和读取。同时，使用ORM框架可以简化数据库操作的代码编写，提高开发效率和代码的可维护性。 因此，在C#中，可以使用byte[]类型来进行ORM映射，以支持MySQL数据库中的BLOB类型字段的操作。 ### 回答3： 在C#中，可以使用byte[]类型来与MySQL数据库中的BLOB类型字段进行映射。BLOB代表二进制大对象(Binary Large Object)，而在C#中，byte[]类型可以用来存储二进制数据。 使用C#的ORM（对象关系映射）工具来操作MySQL数据库中的BLOB类型字段时，可以定义一个与该字段对应的byte[]类型属性。这样，当从数据库中检索数据时，ORM工具会自动将BLOB字段的内容读取到byte[]类型属性中；而当需要将数据写入数据库时，ORM工具则会将byte[]类型属性的内容转换为BLOB类型，并将其作为SQL语句的一部分进行插入或更新操作。 使用byte[]类型可以方便地处理二进制数据，例如图片、文件等。C#提供了丰富的API和方法来操作byte[]类型的数据，比如将其转换为Base64编码的字符串或者将其写入到文件中等。 总的来说，使用byte[]类型作为ORM的数据类型可以方便地处理MySQL数据库中的BLOB类型字段，使数据的操作更加简便和高效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值