本文探讨了数据清洗的重要性，包括处理极端值、缺失值和重复数据，以及特征缩放的必要性。缩放特征值有助于加速模型训练，避免数值溢出，并确保每个特征得到适当权重。
数据清洗 （Data Cleaning）
为什么要数据清洗？：一颗老鼠屎也会破坏掉一整个大规模数据集
数据清洗要达到的目标是什么？：目标让模型更加泛化，让数据更体现其价值，最好能清洗出特征数据，从而让模型更精确
缩放特征值(Scaling)
将特征数据归一化处理，即转换数据集的数值范围（也叫标准化数据），
缩放是指将浮点特征值从自然范围（例如 100 到 900）转换为标准范围（例如 0 到 1 或 -1 到 +1）。
如果特征集包含多个特征，则缩放特征可以带来以下优势：
- 帮助梯度下降法更快速地收敛。
- 帮助避免“NaN 陷阱”。在这种陷阱中，模型中的一个数值变成
NaN（例如，当某个值在训练期间超出浮点精确率限制时），并且模型中的所有其他数值最终也会因数学运算而变成 NaN。 - 帮助模型为每个特征确定合适的权重。如果没有进行特征缩放，则模型会对范围较大的特征投入过多精力。
处理极端、离群/缺省值、去重等
处理错误数据、重复数据、残缺数据缺省补齐等
如何最大限度降低这些极端离群值的影响?
- 对每个值取对数（对数缩放）
- 限制最大/最小值
数据分箱（Binning）
将特征值浮点数，分为几个范围，如32.3 32.5 为32-33范围，相应值为1
为了将纬度变为一项实用的预测指标，我们对纬度“分箱”
审查（Scrubbing）
我们假定用于训练和测试的所有数据都是值得信赖的。在现实生活中，数据集中的很多样本是不可靠的：
- 遗漏值。 例如，有人忘记为某个房屋的年龄输入值。
- 重复样本。 例如，服务器错误地将同一条记录上传了两次。
- 不良标签。例如，有人错误地将一颗橡树的图片标记为枫树。
- 不良特征值。 例如，有人输入了多余的位数，或者温度计被遗落在太阳底下。
直方图是一种用于可视化集合中数据的很好机制。此外，收集如下统计信息也会有所帮助：
- 最大值和最小值
- 均值和中间值
- 标准偏差
了解数据
- 记住预期的数据状态。
- 确认数据是否满足这些预期（或者您可以解释为何数据不满足预期）。
- 仔细检查训练数据是否与其他来源（例如信息中心）的数据一致。
博主热门文章推荐：
一篇读懂系列：
LoRa Mesh系列：
网络安全系列：
- ATECC508A芯片开发笔记（一）：初识加密芯片
- SHA/HMAC/AES-CBC/CTR 算法执行效率及RAM消耗 测试结果
- 常见加密/签名/哈希算法性能比较 (多平台 AES/DES, DH, ECDSA, RSA等)
- AES加解密效率测试（纯软件AES128/256）–以嵌入式Cortex-M0与M3 平台为例
嵌入式开发系列：
- 嵌入式学习中较好的练手项目和课题整理（附代码资料、学习视频和嵌入式学习规划）
- IAR调试使用技巧汇总：数据断点、CallStack、设置堆栈、查看栈使用和栈深度、Memory、Set Next Statement等
- Linux内核编译配置（Menuconfig）、制作文件系统 详细步骤
- Android底层调用C代码（JNI实现）
- 树莓派到手第一步：上电启动、安装中文字体、虚拟键盘、开启SSH等
- Android/Linux设备有线&无线 双网共存（同时上内、外网）
AI / 机器学习系列：
- AI: 机器学习必须懂的几个术语：Lable、Feature、Model…
- AI：卷积神经网络CNN 解决过拟合的方法 （Overcome Overfitting）
- AI: 什么是机器学习的数据清洗（Data Cleaning）
- AI: 机器学习的模型是如何训练的？（在试错中学习）
- 数据可视化：TensorboardX安装及使用（安装测试+实例演示）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
