【李沐】二、数据清理

数据错误的类型

outlier detection

box plot
有一半的数据在盒子里面，在盒子上下各走1.5倍的高度

rule-based detection 基于规则的检测

功能性依赖：x->y表示一个x决定了一个确切的y的值
Denial constraints
指定各种各样的规则帮自己做事

基于模式的监测

语法 语义

数据的变换

收集原始数据->标记+清理->数据变形->特征工程->模型训练

实数值的归一化 Normalization

1.机器学习对数值比较敏感，差距太大很容易产生不稳定性，以及对重要性做出误判。
2.更常见的算法：所有元素均值变为零，方差变为1

3.使所有的元素绝对值处于0-1之间

4.

图片变化

通过降维的方法让图片的像素值小一点

采样一些图片的帧出来