以下来自最近的读书笔记。
数据挖掘和机器学习很重要的基础是数据,数据的质量好坏决定了模型的性能和稳定性。
所以,我们需要实时审视我们的数据,以下是一些做数据验证的指导原则。
1、可靠性
关于输入数据的可靠性的一些问题:
信号总是可用还是来自不可靠的来源?
信号是否来自在重负载下崩溃的服务器?
信号是来自特殊人群,如每年八月去度假的人吗?
2、版本控制
关于版本控制的一些问题:
计算这些数据的系统会改变吗? 如果是这样的话:
有多经常?
您如何知道该系统何时发生变化?
有时,数据来自上游流程。 如果该过程突然发生变化,您的模型可能会受到影响。
考虑为从上游流程收到的数据创建自己的副本。 然后,只有在您确定这样做是安全的情况下才前进到上游数据的下一个版本。
3、必要性
以下问题可能会让您想起正则