- 博客(202)
- 收藏
- 关注
RSS订阅原创 使用 Seaborn 热图的 5 种方法（Python 教程）
我们先来讨论一下热图是什么以及为什么热图如此有用。你可以在图 1 中看到一个示例。y 轴上有变量 1。在这种情况下，变量 1 可以采用不同的 4 个值。也就是说，“V1-1”是变量 1 的第一个值。同样，y 轴上有变量 2。还有第三个变量。这是每个单元格内的值。每个单元格的颜色由这个变量的值决定。因此，使用热图，我们可以在 2D 平面上直观地显示 3 个变量之间的关系。这些关系可能很复杂。这就是使用颜色的原因。它可以突出显示关系的重要方面，并使它们更容易理解。我们应该记住，热图仍然有局限性。
2024-10-01 13:48:32
196
原创 从 Shapley 到 SHAP — 数学理解
如何计算 SHAP 特征贡献的概述[外链图片转存中…(img-T2bopJJd-1727349137092)]{:width 100}假设你（玩家 1）和朋友（玩家 2）参加了一场 Kaggle 比赛，你最终赢得了 10,000 元的一等奖。现在，你想公平地分配这笔钱。你的朋友建议你平分。但是，你的超参数调整技能更出色。你相信你应该得到更大的份额，因为你为团队做出了更多贡献。考虑到这一点，你如何公平地分配这笔钱？巧合的是，你的朋友有一台时光机。你们各自回到过去，单独重赛 Kaggle 比赛。
2024-09-27 07:45:00
61
原创 银行业数据科学家的 6 条经验教训
原本希望在计算机科学、统计学和机器学习领域工作。运用新方法获得独特见解，实现一切自动化。简而言之，最终成了这个职业炒作的牺牲品。我想和你们分享一下。希望我们能够摆脱炒作，提高你对数据科学家工作的理解。
2024-09-24 07:45:00
66
原创 如何加速 CNN
本节课为「」第 17 节；Hi, 我是茶桁。上节课咱们讲了 MLP 到 CNN，最后提到了 CNN 加速的话题。具体 CNN 加速这个过程我们要从两个方向去看，一个是前向计算的加速，一个是反向传播的加速。我们通常说模型加速前向计算就够了，不用反向传播。并不是如此。为什么？因为如果一个模型它的训练很快的话，它前向计算其实就可以更快。比如说一个模型。为什么模型现在做不了，参数量更大，做不了更准确，就是因为我们训练速度慢，训练不出来。模型本身的潜力是很大的，但是我们没有训练出来。
2024-09-22 07:45:00
42
原创 PDP 和 ICE 图的终极指南
部分依赖图和单独条件期望图背后的直觉、数学和代码（R 和 Python）PDP 和 ICE 图都可以帮助我们了解我们的模型如何做出预测。使用个人显示面板我们可以将模型特征和目标变量之间的关系可视化。它们可以告诉我们某种关系是线性的、非线性的还是没有关系。同样，当特征之间存在交互时，可以使用 ICE 图。我们将深入介绍这两种方法。我们从 PDP 开始。我们将逐步向你介绍如何创建 PDP。你会发现这是一种直观的方法。即便如此，我们也将解释 PDP 背后的数学原理。然后我们继续讨论 ICE 图。
2024-09-20 07:45:00
79
原创 使用 CatBoost 实现分类特征的 SHAP
避免对分类特征的 SHAP 值进行后处理结合 [[CatBoost]] 和 [[SHAP]] 可以提供强大的洞察力。特别是当你使用分类特征时。CatBoost 处理这些特征的方式使你更容易理解使用 SHAP 的模型。对于其他建模包，我们需要先使用 One-Hot 编码转换分类特征。问题是每个二进制变量都有自己的 SHAP 值。这使得很难看到原始分类特征的整体贡献。在 [分类特征的 SHAP](…/分类特征的 SHAP) 中，我们探讨了一种解决方案。
2024-09-17 07:45:00
49
原创 我们可以从黑盒模型中学到什么
使用非线性模型进行数据探索和知识生成黑盒模型可以自动模拟复杂的关系。与线性模型相比，捕捉数据中的这些趋势可以提高其准确性。然而，准确性只是好处之一。我们可以分析模型，了解它们如何做出这些预测。这可以揭示数据集中的潜在关系。在某些情况下，这些关系对我们来说可能是全新的。这就是机器学习如何成为和的工具。此外，提供以帮助调试模型。这些知识可用于我们将讨论如何从黑盒模型中学习。其中包括理解数据中的及其。
2024-09-13 07:45:00
88
原创 KernelSHAP vs TreeSHAP
根据速度、复杂性和其他考虑因素比较 SHAP 近似方法more[[KernelSHAP]] 和 [[TreeSHAP]] 都用于近似 [[Shapley]] 值。TreeSHAP速度更快。缺点是它只能与基于树的算法（如[[随机森林]]和 [[xgboost]]）一起使用。另一方面，KernelSHAP 与模型无关。这意味着它可以与任何机器学习算法一起使用。我们将比较这两种近似方法。为此，我们将进行一项实验。这将向我们展示 TreeSHAP 实际上有多快。我们还将探讨树算法的参数如何影响时间复杂度。
2024-09-12 20:01:10
119
原创 分类特征的 SHAP
将经过One-Hot 编码转换的分类特征的 SHAP 值相加分类特征需要先进行转换，然后才能用于模型。One-Hot 编码是一种常见的方法：我们最终会得到每个类别的二进制变量。这很好，直到理解使用 SHAP 的模型为止。每个二进制变量都有自己的 SHAP 值。这使得很难理解原始分类特征的整体贡献。一种简单的方法是将每个二进制变量的 SHAP 值加在一起。这可以解释为原始分类特征的 SHAP 值。我们将向你介绍执行此操作的 Python 代码。我们将看到我们能够使用 SHAP 聚合图。
2024-09-06 07:45:00
985
原创 可解释性与公平性的关系
可解释模型更有可能公平的三个原因可解释性和公平性似乎是相辅相成的。涉及理解模型如何进行预测。涉及理解预测是否偏向某些群体。负责任的人工智能框架和机器学习会议始终将这两个特征一起提及。然而，可解释性并不一定意味着公平。话虽如此，可解释的模型仍然更有可能是公平的。这种关联有 3 个主要原因。对于可解释的模型，更容易识别不公平的原因。在可解释的模型中纠正不公平也更容易。一些方法，例如证明解释，甚至依赖于可解释性。最后，这两个特征都与建立对 AI 系统的信任的目标相关。我们将深入讨论这些原因。
2024-09-03 07:45:00
994
原创 计算机视觉的常用模型
好，这就是咱们这节课的内容，主要讨论了一下计算机视觉的常用模型，并且讲之后课程的内容概要给大家讲了讲。这节课内容其实蛮重要的，对于已经大致了解的同学作用不太大，对于刚进入计算机视觉这个领域的同学，大家可以趁机去查一下我说的这些个模型，做一个预习，好接下来跟上咱们后续的课程。我们原来使用 GPU 必须是通过 PyTorch, Tensorflow 等一些框架去使用的，那么我们通过 pycuda 就可以直接去使用 GPU 了，直接去调用 GPU 的一些API，GPU 的一些驱动函数。自己写或者用工具箱都可以。
2024-09-01 07:45:00
64
原创 解释预测的艺术
如何以人性化的方式解释你的模型可直接在橱窗里购买，或者到文末领取优惠后购买：数据科学家职责的一个重要部分是解释模型预测。通常，接受解释的人不是技术人员。如果你开始谈论成本函数、超参数或 p 值，你将会遇到茫然的表情。我们需要将这些技术概念转化为外行人能理解的术语。这个过程可能比构建模型本身更具挑战性。我们将探索如何给出人性化的解释。我们将通过讨论良好解释的一些关键特征来做到这一点。重点将放在解释个别预测上。最后，我们将通过使用「SHAP 值」解释模型来应用其中的一些知识。
2024-08-30 07:45:00
1666
原创 使用 Pandas 批量处理 22GB 交易数据
如何利用有限的计算资源来处理大型数据集可直接在橱窗里购买，或者到文末领取优惠后购买：处理大型数据集很有挑战性。如果你没有必要的资源，处理起来就更具挑战性。我们大多数人无法使用分布式集群、GPU 机架或超过 8GB 的 RAM。这并不意味着我们不能处理一些大数据。我们只需要一次解决一个问题。也就是说，一次迭代整个数据集并处理子集。
2024-08-27 07:30:00
1651
原创 作业, 识别图像数字
这就是说，我们去做决策的时候，去设计传统的机器学习模型的时候，我们这个特征是需要手动去调整的。我们上节课学了提特征了，学了提 hog 特征，之后 LBP 特征和哈尔特征遗留下来了，我们这节课把它补充上去。，一共是 2 个 1，那行投影的第一个数字就是 2，第二行也是如此，之后每一行都是如此，一直到最后一行都是 0，没有一个 1，所以行投影矩阵的最后一个数字是 0。第一列，0 个 1，是 0，第二列，3，第三列，2，第四列，2，第五列，3，第六列，0。OK，数据我们拿到了，也把数据的矩阵打印出来了。
2024-08-25 07:45:00
54
原创 什么是 MLOps？
在 Google 上搜索某件事，然后几分钟后就会收到大量与该事相关的广告？这些都是日益自动化的世界的症状。在幕后，它们是先进的 MLOps 管道的结果。我们来看看 MLOps 以及有效部署机器学习模型需要什么。我们首先讨论 DevOps 的一些关键方面。然后我们解释引入数据和模型如何颠覆标准实践。这导致了 MLOps 的出现。现有实践（如 CI/CD 管道）需要调整。引入新实践（如持续训练）。
2024-08-23 07:30:00
642
原创 四个自定义 SHAP 图
超越 Python 包，创建 SHAP 值的定制可视化SHAP 值是了解模型如何进行预测的绝佳工具。SHAP 包提供了许多可视化效果，使这个过程更加简单。话虽如此，我们不必完全依赖这个包。我们可以通过创建自己的 SHAP 图来进一步了解模型的工作原理。在本文中，我们将解释四个定制的 SHAP 图以及您可以从中学到什么。您可以在GitHub上找到用于创建这些图的代码。讨论的图表之一是图 1 中的瀑布图。这是一种可视化单个预测的 SHAP 值的好方法。模型做出的每个预测都会有自己的瀑布图。
2024-08-20 07:30:00
976
原创 图像特征描述子
本节课为「」第 12 节；可直接在橱窗里购买，或者到文末领取优惠后购买：Hi, 大家好。我是茶桁。。其中上节课内容中我们提到了一些决策函数改进的点。在解决计算机视觉问题的过程，我们除了决策函数之外，另外一个关键点就是「描述子」。在这节课中，咱们就来好好聊聊。
2024-08-18 07:30:00
43
原创 Python 中的 SHAP 简介
本文中有多篇计划文章，后期会补充相关链接。鉴于公众号内无法后期修改文章，请关注原文链接。如何创建和解释 SHAP 图：瀑布图、力图、平均 SHAP 图、蜂群图和依赖图可直接在橱窗里购买，或者到文末领取优惠后购买：SHAP 是用于理解和调试模型的最强大的 Python 包。它可以告诉我们每个模型特征对单个预测的贡献。通过汇总 SHAP 值，我们还可以了解多个预测的趋势。只需几行代码，我们就能识别和可视化模型中的重要关系。我们将介绍用于计算和显示 SHAP 值的代码。
2024-08-16 12:02:18
1488
原创 分类特征的 SHAP
将经过One-Hot 编码转换的分类特征的 SHAP 值相加可直接在橱窗里购买，或者到文末领取优惠后购买：分类特征需要先进行转换，然后才能用于模型。One-Hot 编码是一种常见的方法：我们最终会得到每个类别的二进制变量。这很好，直到理解使用 SHAP 的模型为止。每个二进制变量都有自己的 SHAP 值。这使得很难理解原始分类特征的整体贡献。一种简单的方法是将每个二进制变量的 SHAP 值加在一起。这可以解释为原始分类特征的 SHAP 值。我们将向你介绍执行此操作的 Python 代码。
2024-08-13 07:45:00
682
原创 特征及决策函数
本节课为「」第 11 节；可直接在橱窗里购买，或者到文末领取优惠后购买：Hi，大家好。我是茶桁。。在这节课中，咱们继续来深入讲讲这个概念。
2024-08-11 19:05:19
47
原创 良好功能的特征
在模型开发过程中，特征选择发生在特征工程之后、开始拟合模型之前。在特征工程期间，我们将原始数据转换为模型特征列表。根据你的问题，此列表可能很大（即超过 1000 个特征）。特征选择涉及将其缩小到一个候选列表（即 20-40 个特征）。根据你的模型，可能还有另一个特征选择阶段，你将在此选择模型特征的最终列表（即 8-10 个特征）。在本文中，我们重点介绍第一阶段 — 创建候选列表。我们出于一些原因创建了一个候选名单。在模型训练阶段，使用完整的特征列表在计算上是昂贵的。
2024-08-09 01:48:39
1020
原创 查找并可视化非线性关系
如果两个变量具有线性关系，我们可以用直线来概括这种关系。直线的斜率可以是正斜率也可以是负斜率，但斜率始终保持不变。您可以在图 1 中看到一个示例。在这种情况下，我们有一个正线性关系。另一种看待这个问题的方式是，无论 X 的起始值是多少，变量 X 的增加都会导致 Y 的相同增加。另一方面，对于非线性关系，变量 X 的变化导致变量 Y 的变化将取决于 X 的起始值。您可以在图 2 中看到一些这样的示例。上面给出的年龄-事故关系可能是二次的。也就是说，事故发生的概率会随着年龄的增长而降低，然后增加。
2024-08-06 07:30:00
1034
原创 计算机视觉核心步骤
有的大一些，有的小一点，有的偏左，有的偏右。这样的模型的参数量就太大了，不合适。更深一步就是，无论我们 1 的角度如何变化，就算 1 在图片上是斜着的，是倒着的，我们特征都是不变的。在这个函数中，我们输入数字 8 的这个矩阵，我希望输出 id=1，输入数字 1 的矩阵，我希望输出 id=2，如果是数字 6 的矩阵，我希望输出 id=3。如果当前输入的矩阵是等于 8 的这个矩阵，这个我们是知道的，那么我就 return 8，就是直接输出了一个结果数字， return 1 呢，就是输出了第一类的 ID。
2024-08-04 07:30:00
52
原创 GitEval — 预测你的 GitHub 个人资料的质量
文章概述了 GitEval 的开发和评估，这是一种机器学习模型，它使用决策树和随机森林根据 GitHub 用户的个人资料数据预测他们的编码能力。
2024-07-30 07:30:00
2030
原创 直方图及均衡化
Hi, 大家好。我是茶桁。今天咱们来讲直方图，以及直方图的均衡化。这是很有意思的一部分。本来上一节课咱们就该讲讲直方图的，可是因为直方图的内容确实有点多，所以就放在这一节课咱们拿一章来好好讲讲。在理解直方图之前，最好还是好好看看上一节课的内容，因为灰度图和 gamma 的概念对于理解直方图算是一些基础了。好了，话不多说，让我们开始。
2024-07-28 07:30:00
615
原创 我为何撰写有关人工智能和数据科学的文章
我不仅在公众号上发布文章，还在 CSDN 、微博以及知乎上分享，并且也尝试了各种不同的其他渠道。慢慢地积累了一批粉丝，并与同样对数据科学感兴趣的人建立了联系。
2024-07-27 07:30:00
1015
原创 什么是模型无关方法？
模型不可知方法是一种多功能技术，可以应用于任何机器学习模型，以增强可解释性并促进评估，为模型预测提供全局和局部见解，而无需了解模型的内部工作原理。
2024-07-26 07:30:00
1335
原创 一个python脚本解决新版剪映导出字幕收费问题
既然无法导出带字幕的视频了，那我们换个方式吧，使用其他方式保存字幕之后，咱们再在 Final Cut 或者 Premiere 中去做，又或者，如果你是导入自己的字幕，剪映中依然是可以做的。那问题就好解决了，既然你剪映可以生成字幕，只是无法导出带字幕的视频或者导出字幕，那我在你生成之后获取源文件不就好了。好吧，我们要知道，基本百分之 90 以上的用户都在使用这个字幕功能为自己的视频添加字幕，否则多数口播博主的那个发音，估计三四遍都不知道你在讲什么。默认为剪映默认文件目录。于是就有了我以下的自力更生的方法。
2024-07-24 11:54:06
587
原创 什么是算法公平性？
在机器学习中，算法和模型这两个术语可以互换使用。确切地说，算法是数学函数，如线性回归、随机森林或神经网络。模型是经过数据训练的算法。经过训练后，模型可用于进行预测，从而帮助实现决策自动化。这些决策可能包括从诊断癌症患者到接受抵押贷款申请等任何事情。没有一个模型是完美的，这意味着它们可能会做出错误的预测。如果这些错误系统性地使一群人处于不利地位，我们就说这个模型是有偏见/不公平的。例如，一个不公平的模型可能会拒绝女性的抵押贷款申请，而不是男性。
2024-07-23 07:30:00
654
原创 灰度和 gamma 值
前面咱们花了 6 节正课以及 1 节作业课的时间讲了图像处理的方法。哪些图像处理方法同学们还记得吗？我们了解了图像是用矩阵表示的，然后，我们如何获取到图像这个矩阵对吧？先获取到这个矩阵才能对它进行处理。我们讲了从图片上读取、从摄像头中读取、从视频中读取，也可以自己生成一个矩阵来表示图片。当然还有些其他方法。我们现在先认识这 3 种基本上就够用了。还有一些其他的方法就比如说卫星上的扫描图像，它可能不是可见光的，是各个电磁波根据它反射的性能出来的矩阵，比如近红外的图像，热成像仪等等。这都是形成图像数据的方法。
2024-07-21 07:30:00
34
原创 纠正和防止机器学习中的不公平现象
预处理、处理中、后处理方法和非定量方法机器学习中的公平性是一个复杂的问题。更糟糕的是，负责构建模型的人不一定具备确保公平的技能。这是因为不公平的原因超出了数据和算法的范围。这意味着解决方案也需要超越量化方法。为了理解这一点，我们将首先讨论不同的定量方法。我们可以将这些方法分为预处理、处理中和处理后。我们将重点关注这些方法的局限性，以了解为什么它们可能无法解决不公平问题。最终，我们需要将公平视为一个更广泛的问题。这就是为什么我们将继续讨论非定量方法。它们包括不使用或限制使用ML。
2024-07-19 07:30:00
660
原创 不公平的预测：机器学习中的 5 种常见偏见来源
历史偏见、代理变量、不平衡数据集、算法选择和用户反馈循环如何导致不公平的模型从表面上看，机器学习似乎是公正的。算法没有种族、民族、性别或宗教等敏感特征的概念。因此，它们不可能对某些群体做出有偏见的决定。然而，如果不加以控制，它们就会这样做。要纠正有偏见的决策，我们首先需要了解偏见来自何处。我们将讨论图 1 中给出的 5 个不公平原因。前三个原因涉及用于训练模型的数据。后两个原因涉及算法选择以及用户如何与模型交互。之前写了一篇实际的教程《》，如果您想要更实际的教程，请参阅这篇文章。
2024-07-17 07:30:00
636
原创 分析机器学习的公平性
在继续之前，我们需要定义受保护的特征。我们通过使用敏感属性创建二进制变量来实现这一点。我们定义变量，以便 1 代表特权群体，0 代表非特权群体。通常，非特权群体在过去会面临历史不公正。换句话说，这个群体最有可能面临有偏见的模型做出的不公平决定。我们使用以下代码定义这些特征。对于种族，我们定义受保护的特征，以便“白人”是特权群体（第 4 行）。也就是说，如果该人是白人，则变量的值为 1，否则为 0。对于性别，“男性”是特权群体（第 5 行）。接下来，我们将使用这些二进制变量代替原始敏感属性。---
2024-07-15 07:30:00
596
原创 作业：人像滤波去噪
所以我就布置个作业，让大家去调整一下卷积核的大小和值，尝试去把卷积核的大小调成一个合适的值，然后对这个模特的脸上的一些斑点进行一个过滤，只剩下模特除了斑点之外的其他的部分。对于普通人来说，这肯定是一下说不出来的，需要接受专门的练习，理解了三原色色值的差别以及融合原理，我们需要大量的经验去积累，自己调调试试。如果在，它就是肤色了，我就给一个图片，另外有一个 skin 这个图片，它存取肤色的结果，并且我们给设置为二值图像，也就是只有黑白两个颜色。如果是，就设置为 1，如果不是，就设置为 0。
2024-07-14 07:30:00
78
原创 使用 Python 创建你的第一个情绪分析模型
情绪是某人用语言表达的想法或感觉。考虑到这一点，情绪分析就是预测/提取这些想法或感觉的过程。我们想知道一篇文章的情绪是积极的、消极的还是中性的。我们所说的积极/消极情绪的具体含义取决于我们试图解决的问题。对于 BTS 示例，我们试图预测听众的观点。积极情绪意味着听众喜欢这首歌。我们可以使用情绪分析来标记我们平台上的潜在仇恨言论。在这种情况下，消极情绪意味着文本包含种族主义/性别歧视观点。其他一些例子包括预测讽刺/挖苦，甚至是预测一个人的意图（即他们是否打算购买产品）。
2024-07-13 07:30:00
592
原创 寻找并可视化交互
当特征与目标变量有某种关系时，我们称该特征具有预测性。例如，汽车的价格可能会随着汽车的老化而下降。年龄（feature）可用于模型中以预测汽车价格（target variable）。在某些情况下，目标变量和特征之间的关系取决于另一个特征的值。这称为特征之间的相互作用。以图 1 中的车龄与汽车价格的关系为例。这里我们有第二个特征 — 汽车类型。汽车可以是经典汽车（classic =1），也可以是普通汽车（classic =0）。
2024-07-11 13:12:09
714
原创 使用 Python 绘制美国选举分级统计图
如何创建美国选举结果的时间序列分级统计图数据地址为源地址，如果失效请与我联系。2024 年美国大选将至，关于此次选举据说非常戏剧，两位最大可能的提名候选人跟 2020 年如出一辙。不过，本次大选数据咱们是暂时没办法获得了，就拿 2020 年的那次数据来看看。2020 年美国大选带来了高度紧张的气氛、毫无根据的欺诈指控，最重要的是，带来了一些很棒的可视化效果。至少对数据科学家来说，这很重要。似乎你无论在哪里都看不到一些新颖的选举结果呈现方式。那么为什么不再添加一些呢？
2024-07-11 07:30:00
957
原创 计算机处理图像的方式方法（下）
本节课为「」第 6 节；Hi, 大家好。我是茶桁。INFO:在正式开始今天课程之前，先跟大家说一个决定。本来「茶桁的 AI 秘籍」系列课程都是一周两篇的频率进行更新的，但是近期由于本人诸多事项缠身比较忙，又都不能不耽误，所以之后不得不改为一周一篇的更新频率，为每周周日进行更新。除了系列课程之外，其他零散的文章依旧不定时更新，可能一天一更，也可能需要等比较长的时间。做这样的决定也是为了保障课程或者文章的质量，还请大家见谅。
2024-07-10 07:30:00
46
Python 脚本解决剪映字幕收费问题
2024-08-17
Python 脚本解决剪映字幕收费问题
2024-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人