不管是做数据分析、机器学习、深度学习等。我们拿到数据后,第一步是做数据预处理。
Name | Weight | age | Gender |
---|---|---|---|
Alice | 133 | 18 | F |
Bob | 160 | 25 | M |
Charlie | 152 | 36 | M |
Diana | 120 | 42 | F |
1、
数据特征像age的有大小顺序的称为ordinal features [0 1 2 3 4]
像gender的没有大小顺序,只代表类别的称为 categorical feature 一般用one-hot处理 [0 0 0 1]
2、
对于有些特征大小相差很大,单位不同一的,都要进行处理。下面有两种比较常用的方法。
min-max normalization:
X`=(X-Xmin)/(Xmax-Xmin)
当知道特征最小最大值时,比如灰度图像0-255
standardization:
Xi` =(Xi-u)/σ