茶桁-CSDN博客

原创不公平的预测：机器学习中的 5 种常见偏见来源

历史偏见、代理变量、不平衡数据集、算法选择和用户反馈循环如何导致不公平的模型从表面上看，机器学习似乎是公正的。算法没有种族、民族、性别或宗教等敏感特征的概念。因此，它们不可能对某些群体做出有偏见的决定。然而，如果不加以控制，它们就会这样做。要纠正有偏见的决策，我们首先需要了解偏见来自何处。我们将讨论图 1 中给出的 5 个不公平原因。前三个原因涉及用于训练模型的数据。后两个原因涉及算法选择以及用户如何与模型交互。之前写了一篇实际的教程《》，如果您想要更实际的教程，请参阅这篇文章。

2024-07-17 07:30:00 332

原创分析机器学习的公平性

在继续之前，我们需要定义受保护的特征。我们通过使用敏感属性创建二进制变量来实现这一点。我们定义变量，以便 1 代表特权群体，0 代表非特权群体。通常，非特权群体在过去会面临历史不公正。换句话说，这个群体最有可能面临有偏见的模型做出的不公平决定。我们使用以下代码定义这些特征。对于种族，我们定义受保护的特征，以便“白人”是特权群体（第 4 行）。也就是说，如果该人是白人，则变量的值为 1，否则为 0。对于性别，“男性”是特权群体（第 5 行）。接下来，我们将使用这些二进制变量代替原始敏感属性。---

2024-07-15 07:30:00 533

原创作业：人像滤波去噪

所以我就布置个作业，让大家去调整一下卷积核的大小和值，尝试去把卷积核的大小调成一个合适的值，然后对这个模特的脸上的一些斑点进行一个过滤，只剩下模特除了斑点之外的其他的部分。对于普通人来说，这肯定是一下说不出来的，需要接受专门的练习，理解了三原色色值的差别以及融合原理，我们需要大量的经验去积累，自己调调试试。如果在，它就是肤色了，我就给一个图片，另外有一个 skin 这个图片，它存取肤色的结果，并且我们给设置为二值图像，也就是只有黑白两个颜色。如果是，就设置为 1，如果不是，就设置为 0。

2024-07-14 07:30:00 34

原创使用 Python 创建你的第一个情绪分析模型

情绪是某人用语言表达的想法或感觉。考虑到这一点，情绪分析就是预测/提取这些想法或感觉的过程。我们想知道一篇文章的情绪是积极的、消极的还是中性的。我们所说的积极/消极情绪的具体含义取决于我们试图解决的问题。对于 BTS 示例，我们试图预测听众的观点。积极情绪意味着听众喜欢这首歌。我们可以使用情绪分析来标记我们平台上的潜在仇恨言论。在这种情况下，消极情绪意味着文本包含种族主义/性别歧视观点。其他一些例子包括预测讽刺/挖苦，甚至是预测一个人的意图（即他们是否打算购买产品）。

2024-07-13 07:30:00 529

原创寻找并可视化交互

当特征与目标变量有某种关系时，我们称该特征具有预测性。例如，汽车的价格可能会随着汽车的老化而下降。年龄（feature）可用于模型中以预测汽车价格（target variable）。在某些情况下，目标变量和特征之间的关系取决于另一个特征的值。这称为特征之间的相互作用。以图 1 中的车龄与汽车价格的关系为例。这里我们有第二个特征 — 汽车类型。汽车可以是经典汽车（classic =1），也可以是普通汽车（classic =0）。

2024-07-11 13:12:09 694

原创使用 Python 绘制美国选举分级统计图

如何创建美国选举结果的时间序列分级统计图数据地址为源地址，如果失效请与我联系。2024 年美国大选将至，关于此次选举据说非常戏剧，两位最大可能的提名候选人跟 2020 年如出一辙。不过，本次大选数据咱们是暂时没办法获得了，就拿 2020 年的那次数据来看看。2020 年美国大选带来了高度紧张的气氛、毫无根据的欺诈指控，最重要的是，带来了一些很棒的可视化效果。至少对数据科学家来说，这很重要。似乎你无论在哪里都看不到一些新颖的选举结果呈现方式。那么为什么不再添加一些呢？

2024-07-11 07:30:00 929

原创计算机处理图像的方式方法（下）

本节课为「」第 6 节；Hi, 大家好。我是茶桁。INFO:在正式开始今天课程之前，先跟大家说一个决定。本来「茶桁的 AI 秘籍」系列课程都是一周两篇的频率进行更新的，但是近期由于本人诸多事项缠身比较忙，又都不能不耽误，所以之后不得不改为一周一篇的更新频率，为每周周日进行更新。除了系列课程之外，其他零散的文章依旧不定时更新，可能一天一更，也可能需要等比较长的时间。做这样的决定也是为了保障课程或者文章的质量，还请大家见谅。

2024-07-10 07:30:00 30

原创机器学习中的可解释性

为什么我们需要了解模型如何进行预测我们是否应该始终信任表现良好的模型？模型可能会拒绝你的抵押贷款申请或诊断你患有癌症。这些决定的后果是严重的，即使它们是正确的，我们也希望得到解释。人类可以告诉你，你的收入太低，无法获得抵押贷款，或者特定的细胞群可能是恶性的。提供类似解释的模型比仅提供预测的模型更有用。通过获得这些解释，我们说我们正在解释一个机器学习模型。在本文的其余部分，我们将更详细地解释可解释性的含义。然后，我们将继续讨论能够解释模型的重要性和好处。然而，仍然存在一些缺点。

2024-07-09 07:30:00 1153 2

原创太多项会毁了回归

让我们通过将一些线性回归模型拟合到数据集来直接深入研究这个概念。我们将使用一个房地产估价数据集2，其中包含有关已售出的 414 栋房屋的信息。为了简单起见，我们只看两个变量——单位面积房价和房屋年龄。我们可以在下面的图 1 中看到这两个变量之间的关系。这个想法是使用房屋房龄来预测价格。从图 1 可以看出，这两个变量之间似乎不存在线性关系。这意味着这种关系不能用直线表示。在我们的例子中，房价最初随着房龄的增长而下降。然而，大约 25 年后，房价开始随着房龄的增长而上涨。这表明这种关系可能是二次的。

2024-07-08 07:30:00 815

原创计算机处理图像的方式方法

那到现在为止，咱们就完成了把这个图像给读进来的功能，包含了三种方式，我们都能拿到矩阵并且能显示了，也就初步完成了我们这个照相机的功能。，讲到这里聪明的小伙伴应该已经理解了，这个其实就是通道转换的一个 CV 方法，专门用于将读取进来的图像的第一矩阵和第三矩阵换一个位置，从而得到一张正常显示的图片。我们看到了两张图，一个是二维矩阵的图，一个是三维矩阵的图。我们去写了一个简单的矩阵，从这个矩阵能看出来，咱们只写了一个二维矩阵，这种矩阵最后生成的结果应该是一个灰度图，图片的 shape 为 3*3。

2024-07-07 07:30:00 50

原创 Interpretability 与 Explainability 机器学习

这个灰色区域是我们发现这个定义的第一个问题。我们可能同意，一个有 2 棵树的随机森林是可解释的。然而，一个有 100 棵树的随机森林是不可解释的。在什么时候（即有多少棵树），模型从 interpretable 变为 explainable？即使是具有许多节点的决策树或具有许多参数的回归，如果没有额外的技术，也可能变得过于复杂，人类无法理解。问题是我们试图根据人类的理解能力对模型进行分类。没有正式的方法来衡量这一点。你理解模型的能力取决于你的技术技能和专业经验。即使在专业人士中，也会有分歧。

2024-07-06 19:05:11 1043

原创深度神经网络语言识别

使用 DNN 和字符 n-gram 对一段文本的语言进行分类（附 Python 代码）[外链图片转存中…(img-geFc0WoY-1720181018144)]资料来源，flaticon：https://www.flaticon.com/premium-icon/cyborg_901032语言识别是自然语言处理 (NLP) 问题中的一个重要步骤。它涉及尝试预测一段文本的自然语言。在采取其他操作（即翻译/情感分析）之前，了解文本的语言非常重要。例如，如果你使用谷歌翻译，你输入的框会显示“检测语言”。

2024-07-05 20:04:11 966

原创使用 PCA 可视化数据的分类能力

我们先从理论开始。我不会深入讲解太多细节，因为如果你想了解 PCA 的工作原理，有很多很好的资源^2^3。重要的是要知道 PCA 是一种降维算法。这意味着它用于减少用于训练模型的特征数量。它通过从许多特征中构建主成分 (PC) 来实现这一点。PC 的构造方式是，第一个 PC（即 PC1）尽可能解释特征中的大部分变化。然后 PC2 尽可能解释剩余变化中的大部分变化，依此类推。PC1 和 PC2 通常可以解释总特征变化的很大一部分。另一种思考方式是，前两个 PC 可以很好地总结特征。

2024-07-04 07:30:00 1117

原创计算机是如何看到图像的

首先，镜头完成一个图像的采集，采集的是电压的值。我们这个感光元器件只能看它的分辨率是多少，就是它的最小的感光元器件多少，它测的是最小的感光元器件的区域所有的光线之和的强度。到现在为止，我们图像的显示方式讲了几种：一个是二值图，这个图的取值方式是 0 和 1，数据类型是整型，然后是灰度图，每个像素的取值范围是 0～1 的浮点数，或者是 0~255 的整型。不过这个显示出来之后是一个黑白的图像，如果我们最后存到的值只有 0，1 这两个值，这时候的图片我们叫它二值图，它显示出来就是非黑即白的这种图片。

2024-07-03 07:30:00 47

原创使用高斯混合模型识别餐厅热点

如上所述，GMM 是一种聚类算法。这意味着它可用于根据特征对数据集中的元素进行分组。例如，假设我们有一个客户收入和年龄的数据集。聚类算法可以识别 4 个组：老年高收入者、老年低收入者、年轻高收入者和年轻低收入者。这 4 个群体可能具有非常不同的特征/行为。我们不会详细介绍 GMM 如何创建这些聚类，因为有很多很好的资料来源23。重要的是为什么我们要使用 GMM 而不是其他聚类算法（例如 K-means）。对于我们的问题，GMM 最重要的优势是它在聚类方差和协方差方面更加灵活。

2024-07-02 07:30:00 896

原创特征工程的力量

当你从原始数据创建特征或将现有特征的函数添加到数据集时，你就在进行特征工程。这通常使用特定领域的领域知识来完成2。例如，假设我们想要预测一个人从手术中恢复所需的时间（Y）。从之前的手术中，我们获得了患者的康复时间、身高和体重。根据这些数据，我们还可以计算出每个患者的 BMI = 身高/体重²。通过计算 BMI 并将其纳入数据集，我们正在进行特征工程。

2024-07-01 07:30:00 1016

原创 Computer Vision 的由来

本节课为「计算机视觉 CV 核心知识」第 3 节课；「AI秘籍」系列课程：人工智能应用数学基础人工智能Python基础人工智能基础核心知识人工智能BI核心知识人工智能CV核心知识Hi, 大家好。我是茶桁。咱们这节课来讨论一下计算机视觉的发展过程。我们想看它的由来，首先看一下计算机视觉这个名字。计算机视觉，computer vision，把这两个单词拆解来看：computer 就是计算机的意思，vision 就是视觉的意思，所以我们下面就计算机和视觉两个角度去看一下计算机视觉。那么从

2024-06-30 14:41:32 106

原创深入研究 LIME 的本地解释

本地可解释模型–不可知论解释（LIME）的直觉、理论和代码LIME 是方法的起源。它让我们了解机器学习模型的工作原理。具体来说，它可以帮助我们了解个体预测是如何做出的（即局部解释）。尽管最近的进展意味着 LIME 不那么受欢迎，但它仍然值得了解。这是因为它是一种相对简单的方法，对于许多可解释性问题来说“足够好”。它也是一种较新的局部可解释性方法——的灵感来源。在此过程中，我们将该方法与 SHAP 进行比较。这是为了更好地了解它的缺点。

2024-06-27 00:13:18 926

原创计算机视觉的职业规划

Hi，大家好。我是茶桁。今天这节课呢，咱们先不着急讲原理，先来讲讲的话题。如果想要直接上手企业级的 AI 项目，可以看看咱们的「

2024-06-26 07:30:00 228

原创计算机视觉解决什么问题？

本节课为「」第一节课正式课；Hi，大家好。我是茶桁。老同学对我应该都很熟悉了，那新来的同学可能还不太认识我。不认识的有兴趣的话就自行找找相关简介吧，我也就不多介绍了，直接开始咱们的课程。迄今为止，「」系列已经写了有一年了，期间从最基础的，到相关的，再到一些都已经讲的七七八八了。但是 CV 部分呢，也就是计算机视觉方面的核心知识课程，今天还是第一节课。在这节课之前我们同学应该是学了前面的一些机器学习的内容，看了计算机视觉的一些介绍。

2024-06-23 15:22:02 898

原创计算机视觉解决什么问题？

本节课为「」第一节课正式课；Hi，大家好。我是茶桁。老同学对我应该都很熟悉了，那新来的同学可能还不太认识我。不认识的有兴趣的话就自行找找相关简介吧，我也就不多介绍了，直接开始咱们的课程。迄今为止，「」系列已经写了有一年了，期间从最基础的，到相关的，再到一些都已经讲的七七八八了。但是 CV 部分呢，也就是计算机视觉方面的核心知识课程，今天还是第一节课。在这节课之前我们同学应该是学了前面的一些机器学习的内容，看了计算机视觉的一些介绍。

2024-06-23 07:45:00 63

原创如何将 ChatGPT 集成到你的应用中

在当今快速发展的技术环境中，将人工智能聊天解决方案集成到你的应用程序中可以显著提升用户体验和参与度。OpenAI 的 ChatGPT 以其对话能力和高级语言理解而闻名，对于希望在其应用程序中实现智能聊天功能的开发人员来说是一个绝佳的选择。那我们今天就来引导你完成将 ChatGPT 集成到你的应用程序中的步骤和最佳实践，为你的用户提供无缝和交互式的体验。

2024-06-21 16:52:02 1378 4

原创掌握大型语言模型的 7 个基本步骤

LLMs 正在改变我们今天与科技互动的方式。这些人工智能程序能够理解和模仿人类语言。它们可以应用于数据分析、客户服务、内容创作和其他领域。但对于新手来说，了解如何使用它们似乎很有挑战性。本文将引导读者了解掌握大型语言模型的 7 个基本步骤。本文还旨在通过定义七个关键步骤来提供学习 LLM 的完整手册。即使是新手也可以通过将流程分解为易于完成的操作来掌握并有效利用LLM的强大功能。阅读本文后，读者将能够通过了解基础知识并知道如何调整和评估模型来将 LLM 用于各种目的。了解大型语言模型的基础知识及其功能。

2024-06-20 16:33:03 551

原创大模型时代，新手和程序员如何转型入局AI行业？

在当今大模型迅猛发展的环境下，人工智能的应用越来越广泛。然而，这些大模型的背后隐藏着更为深厚的基础技术——传统机器学习和神经网络。理解这些基础技术，不仅能够帮助我更好地使用大模型，还能为我提供创新和解决实际问题的能力。因此，在这个AI迅猛发展的时代，掌握传统机器学习和神经网络显得尤为重要。在近期的全国两会上，“人工智能”再次被提及，并成为国家战略的焦点。这一举措预示着在接下来的十年到十五年里，人工智能将获得巨大的发展红利。

2024-06-19 01:42:21 855

原创 Stable Diffusion 3 开源了，完全不输 Midjourney

前不久，Stable Diffusion 开源了 SD3，使用过后，效果直逼 Midjourney，而在社区内的出图效果来看，可以替代 Midjourney 作为主力出图工具了。基本上，到这里我们就完成了，不过如果你对语言有要求（障碍），那咱们还可以下载一个语言包，反正我是需要语言包的：https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation，一样，先执行。至于如何选择模型，如何设置大小和图片数量，以及其他设置，自己摸索一下就能明白。

2024-06-16 11:12:55 293

原创「茶桁 AI 秘籍-CV 篇」预告

那么咱们 CV 的课程会有一些变化，就是会改为收费课，毕竟确实也耗费了不少精力，但是大家放心，肯定不会设置的很贵，基本也就是一杯星巴克的钱。》已经有一段时间了，终于有时间可以写 CV 部分的课程，主要也是最近一段时间我确实有点忙不过来。」，和咱们 CV 的关系并不是太大，可以当做补充来学习，相信也会让你受益匪浅。至于会写多少节，我也不太清楚，按着写吧，起码不会少于 20 节课的。在确定自己能完成前面三部分基础课程修炼之前，CV 部分课程难度偏大。好，那么，我们下节课正式开始，各位同学，不见不散。

2024-06-16 11:11:42 1553

原创使用 Nsight 系统分析 CUDA：Numba 示例

优化是编写高性能代码的关键部分，无论你是在编写 Web 服务器还是计算流体力学模拟软件。分析功能可让你对代码做出明智的决策。从某种意义上说，没有分析功能的优化就像盲目飞行：对于拥有专业知识和敏锐直觉的经验丰富的专业人士来说，这基本上没问题，但对于几乎所有其他人来说，这都是灾难的根源。

2024-06-12 07:45:00 1822

原创想在自己的电脑上用头像生成一个智能口播吗？我教你啊.....

其实，这里是有多种方案的。如果你只是想轻量体验下，那么我建议你直接去 Huggingface 体验下就好：https://huggingface.co/spaces/vinthony/SadTalker如果你已经在电脑里安装过了 Stable Diffution，那么只需要添加一个扩展就行了，就算没装过，而你是有打算安装的，也可以先安装 SD，然后再添加扩展。那么还有另外一个方法就是单独安装。

2024-06-12 03:53:14 1129

原创 Numba 的 CUDA 示例(4/4)：原子和互斥

在本系列的前三部分（第 1 部分第 2 部分第 3 部分）中，我们介绍了 CUDA 开发的大部分基础知识，例如启动内核来执行高度并行的任务、利用共享内存执行快速缩减、将可重用逻辑封装为设备功能，以及如何使用事件和流来组织和控制内核执行。在本系列的四期中，我们涵盖了足够的内容，让你能够在各种常见情况下使用 Numba CUDA。这些教程并非详尽无遗，旨在介绍和激发读者对 CUDA 编程的兴趣。

2024-06-09 07:45:00 962

原创 Numba 的 CUDA 示例(3/4)：流和事件

在本系列的前两部分（第 1 部分第 2 部分）中，我们学习了如何使用 GPU 编程执行简单的任务，例如高度并行的任务、使用共享内存的缩减以及设备功能。我们还学习了如何从主机对函数进行计时 — 以及为什么这可能不是对代码进行计时的最佳方式。

2024-06-05 07:45:00 716

原创 Numba 的 CUDA 示例 (2/4)：穿针引线

在本系列的第一部分中，我们讨论了如何使用 GPU 运行高度并行算法。高度并行任务是指任务完全相互独立的任务，例如对两个数组求和或应用任何元素函数。

2024-06-02 07:45:00 1013

原创 Numba 的 CUDA 示例（1/4）：踏上并行之旅

GPU（图形处理单元），顾名思义，最初是为计算机图形学开发的。从那时起，它们几乎在每个需要高计算吞吐量的领域都无处不在。这一进步得益于 GPGPU（通用 GPU）接口的发展，这些接口使我们能够对 GPU 进行编程以进行通用计算。这些接口中最常见的是CUDA，其次是OpenCL，最近的是 HIP。GPU 相对于 CPU 的最大优势在于它们能够并行执行相同的指令。单个 CPU 内核将以串行方式一个接一个地运行指令。在 CPU 上进行并行化需要同时使用其多个内核（物理或虚拟标准的现代计算机具有 4-8 个内核。

2024-05-29 07:45:00 1230

原创如何处理时间序列的缺失数据

您是否应该删除、插入或估算？世界上没有完美的数据集。df.info()它们进行适当处理非常重要。在本文中，我将探讨处理时间序列数据集中的空值/缺失数据的 3 种简单方法。

2024-05-26 07:45:00 544

原创柏拉图式表征：人工智能深度网络模型是否趋于一致？

人工智能模型是否正在向现实的统一表征演进？柏拉图表征假说认为，人工智能模型正在趋同。麻省理工学院最近的一篇论文引起了我的注意，因为它提出了一个令人印象深刻的观点：人工智能模型正在趋同，甚至跨越了不同的模态–视觉和语言。“我们认为，人工智能模型，尤其是深度网络中的表征正在趋同”，这是 The Platonic Representation Hypothesis (https://arxiv.org/abs/2405.07987)论文的开头。但是，在不同数据集上针对不同用例训练的不同模型如何趋同？

2024-05-24 07:45:00 1637

原创 LSTM 升级了？ xLSTM 来挑战现状了

xLSTM 集成了指数门控和改进内存结构等先进功能，为基于 LSTM 的架构注入了新的活力。在人工智能领域，它是一种稳健的替代方案，尤其适用于需要高效长期依赖性管理的任务。这一演变表明，递归神经网络的未来大有可为，可增强其在实时语言处理和复杂数据序列预测等各个领域的适用性。尽管 xLSTM 有所增强，但它不太可能完全取代 Transformers，后者擅长并行处理和利用广泛注意力机制的任务。

2024-05-22 07:45:00 920

原创人工智能增强型数据管理如何实现更精确的工作流程

随着时间的推移，数据洪流只会越来越大。评估数据管理实践并利用智能技术疏通工作流程瓶颈至关重要。这为企业提出了一些基本问题：您是否拥有坚实的数据基础？您有正确的数据管理战略吗？您当前的方法是否结合了人工智能？解决这些问题可以引导您加强数据管理。有效利用人工智能数据管理工具，可以帮助您实现这一目标，将这些改进转化为您的竞争优势。这些解决方案提供了一系列功能，可帮助您从数据中提取洞察力，而无需大量的编程专业知识。

2024-05-19 07:45:00 581

原创 DataCamp 推出 DataLab：一款支持 AI 的数据笔记本

DataCamp 正在推出 DataLab，这是一款支持人工智能的数据笔记本，无论技术能力如何，都能比以往任何时候都更轻松、更快速地从数据转化为洞察力。DataCamp 将数据技能平民化的使命已转化为其领先的在线数据和人工智能学习平台。除了学习之外，直观的数据工具对于现代专业人士来说至关重要，让他们能够做出数据驱动的决策。但如今的工具常常会阻碍我们，而不是帮助我们。根据您的技能组合，您需要不同的工具（Excel、SQL 编辑器、Python 笔记本）。结果，洞察力分散在各个职能部门，协作成为一种阻碍。

2024-05-19 07:45:00 753

空空如也

空空如也