AI: 什么是机器学习的数据清洗（Data Cleaning）

HowieXue

已于 2023-03-23 19:24:18 修改

阅读量2.5w

点赞数 4

分类专栏： Machine Learning 文章标签：机器学习深度学习人工智能数据分析

于 2020-02-11 22:14:18 首次发布

本文链接：https://blog.csdn.net/HowieXue/article/details/104270918

版权

14 篇文章 152 订阅

订阅专栏

为什么要数据清洗？：一颗老鼠屎也会破坏掉一整个大规模数据集

数据清洗要达到的目标是什么？：目标让模型更加泛化，让数据更体现其价值，最好能清洗出特征数据，从而让模型更精确

在这里插入图片描述

将特征数据归一化处理，即转换数据集的数值范围（也叫标准化数据），

缩放是指将浮点特征值从自然范围（例如 100 到 900）转换为标准范围（例如 0 到 1 或 -1 到 +1）。
如果特征集包含多个特征，则缩放特征可以带来以下优势：

帮助梯度下降法更快速地收敛。
帮助避免“NaN 陷阱”。在这种陷阱中，模型中的一个数值变成
NaN（例如，当某个值在训练期间超出浮点精确率限制时），并且模型中的所有其他数值最终也会因数学运算而变成 NaN。
帮助模型为每个特征确定合适的权重。如果没有进行特征缩放，则模型会对范围较大的特征投入过多精力。

处理错误数据、重复数据、残缺数据缺省补齐等

如何最大限度降低这些极端离群值的影响?

将特征值浮点数，分为几个范围，如32.3 32.5 为32-33范围，相应值为1
为了将纬度变为一项实用的预测指标，我们对纬度“分箱”
在这里插入图片描述

我们假定用于训练和测试的所有数据都是值得信赖的。在现实生活中，数据集中的很多样本是不可靠的：

直方图是一种用于可视化集合中数据的很好机制。此外，收集如下统计信息也会有所帮助：

在这里插入图片描述

博主热门文章推荐：

一篇读懂系列：

LoRa Mesh系列：

网络安全系列：

嵌入式开发系列：

AI / 机器学习系列：

HowieXue

关注