平均值(Mean)受例外者(Outlier)和丢失数据(Missing data)的影响太大,通常鲁棒性(Robust)很差。如果使用,需要格外注意这点的影响。与之相比,中位数(Median)的鲁棒性会好很多。
在预处理(Pre-processing)的过程中,一定要记得利用数据总结(Numerical summaries)、可视化工具(visualization tools)和鲁棒性评估(Robust estimation)对Outlier进行检测,并判断其是否是真的极端值(Extreme)还是错误数据。
如果你在数据挖掘的过程中使用了任何一个假设,一定要先将这个假设可视化出来,再简单检查一遍。更实际的是,这不仅仅适用于数据挖掘,在研究中任何可以可视化的数据都是检验先验知识是否正确的宝贵机会。
很多时候大家保留原始的数据形式,认为这种更“原汁原味”。实际上大部分时候,作过一定变换的数据(如下图)反而更容易展现数据的特征,一切都是为目的服务,Visualization的目的是display the uncertainty of data。