数据预处理是为了保证数据质量。数据预处理包括:数据清理,数据集成,数据转换,数据归约(最大限度精简数据量)。比如:缺失数据处理是去掉,还是填充默认值或最近的值。
数据的预处理也包括数据的分组,基本描述统计量的计算,基本统计图形的绘制,数据的标准化和正态化处理。这样能帮助我们掌握数据的分布特征。
数据标准化方是为了消除量纲影响,使数据具有可比性,方法有:
- 规范化处理(min-max法):
y i = x i − min { x i } max { x i } − min { x i } \large{y_i=\frac{x_i-\min\{x_i\}}{\max\{x_i\}-\min\{x_i\}}} yi=max{xi}−min{xi}xi−min{xi} - 正则化方法(z-score法):
y i = x i − μ σ ( μ , σ 分别为均值和方差) \large{y_i=\frac{x_i-\mu}{\sigma}\ \ \ (\mu,\sigma\text{分别为均值和方差)}} yi=σxi−μ (μ,σ分别为均值和方差) - 比例法(归一化):
y i = x i ∑ x i \large{y_i=\frac{x_i}{\sum{x_i}}} yi=∑xixi