强本固基-7-如何理解近红外光谱异常样本剔除问题？

A.  上期分享了近红外光谱分析的基本流程，其中异常样本的存在对于模型的稳定性和泛化性产生重要影响，因此异常样本剔除通常是数据分析的第一步。所谓异常样本一般分为两类：高杠杆值样本和预测明显异常样本，前者指样本的光谱远离整体样本的平均光谱或者指参考值远大于平均值，后者指建立预测模型后多次实验中预测误差较大。目前可通过基于距离或者杠杆统计剔除第一类异常样本，利用统计残差分析剔除第二类异常。
D. 目前很多书籍中的异常样本剔除把光谱（X）异常和参考值（Y）异常一起讨论或者部分讨论。其实高杠杆值样本本身不是异常问题，而是实验设计或者样本采集问题，当样本数量较多时反而能够增加样本范围，进而提高模型稳健性。此外，光谱异常和参考值异常的分析方法不同，前者属于多维数据分析，而后者通常是一维的。