ChatGPT、Claude 和 Gemini 在数据分析方面的合作（第 3 部分）：机器学习的最佳 AI 助手

人工智能如何加速你的机器学习项目从特征工程到模型训练

人工智能如何加速你的机器学习项目从特征工程到模型训练 欢迎来到雲闪世界。

在本文中，我们将重点介绍这些 AI 工具如何协助机器学习项目。机器学习是数据科学的基石。虽然使用 LLM 模型完全自动化建模过程具有挑战性，但这些 AI 工具仍然可以显著简化许多 ML 步骤的流程。

添加图片注释，不超过 140 字（可选）

构建机器学习模型的步骤 与如今通常可以通过 AI 工具实现自动化的 SQL 或 EDA 不同，机器学习是另一种野兽。事实上，我花了很长时间才写这篇文章，因为我一直在努力思考应该如何评估 AI 工具，以及如何确定评分标准。 退一步来说，要评估哪种 AI 工具在协助 ML 项目方面真正大放异彩，至关重要的是要了解这些工具在 ML 模型构建的关键阶段可以做什么和不能做什么。以下是机器学习的八个基本步骤： 1. 问题定义：明确定义您要解决的问题。这包括了解业务背景、目标和期望结果。

• 人工智能辅助：有限。人工智能工具可以帮助澄清问题陈述，但如果没有人工输入，通常很难掌握复杂的业务背景。

2. 数据收集：从各种来源收集相关数据，这可能涉及访问数据库、API 或网络抓取。

• 人工智能辅助：有限。虽然聊天机器人可能会建议数据来源，但繁重的数据收集工作通常需要人工或与团队合作。

3. 探索性数据分析 (EDA)：清理和预处理数据，并分析其结构、分布和关系。这涉及诸如输入缺失值、生成可视化和进行相关性分析等任务。

• AI 辅助：强大。AI 工具擅长生成可视化效果、提供描述性统计数据以及快速从数据中提出见解。

4.特征工程：创建新特征或转换现有特征以提高模型性能。这包括特征提取和选择。

• AI 辅助：强大。AI 可以建议新功能，解释某些转换可能有用的原因，并自动执行某些功能工程任务。

5.模型选择：根据问题类型和数据特点选择合适的机器学习模型（例如回归、分类、聚类）。

• AI 辅助：中等。AI 可以根据问题描述和数据推荐模型，但你可能需要进行实验才能找到最佳匹配。

6. 模型训练和评估：根据数据训练模型，并使用适当的指标评估其性能。这涉及调整超参数并通过交叉验证选择最佳模型。

• AI 辅助：中等。AI 可以帮助生成训练脚本、建议评估指标和调整超参数，但运行代码通常需要外部执行和自动化。

7. 模型部署：将模型部署到生产环境中，以便对新数据进行预测。

• AI 协助：有限。AI 聊天机器人可以指导您完成部署过程，但无法取代所需的实际工作。

8. 监控和维护：持续监控生产中的模型性能，根据需要重新训练，并解决随时间推移出现的任何漂移或退化。

• 人工智能辅助：有限。虽然人工智能可能会建议使用监控工具，但持续维护是一项超出大多数人工智能工具（尤其是聊天机器人界面）能力的任务。

综上所述，AI 能够发挥最大作用的步骤是 EDA 和特征工程，并在模型选择、训练和评估方面提供一些有价值的指导。由于我们已经评估了 AI 在 EDA 中的表现，因此我们将重点介绍本文中的其余步骤。 评估机器学习中的人工智能聊天机器人 为了测试这些工具，我使用了Kaggle 的在线支付欺诈检测数据集（ CC0：公共领域许可证）。欺诈检测是一种非常常见的机器学习用例，可以通过监督学习和无监督学习方法来实现。这个数据集太大，无法满足这三种工具的文件上传限制。因此，我提取了一个 0.5% 的随机样本（3181 行），欺诈率（真阳性率）为 0.2%。 我们将按照以下标准评估人工智能工具。