数据质量的提升

数据质量的提升

数据产品的核心是数据质量，质量是数据的核心。那么我们在数据分析系统搭建时，如何能保证数据的质量，应该使用什么样的技术，这个问题一直困扰着我们。

首先，原始数据的分析。原始数据往往有不完整性，比如某任务管理系统中，我们需要分析任务的完成效率，但是因为系统中经常性因为系统异常导致的数据不完整，这时在我们导入数据时，要过滤掉不完整的数据，或将数据补充通过一些缺省值补充完整。

然后，技术的选型。随着大数据发展，hadoop系技术产品也非常成熟，选用技术时要根据数据量及分析深度选择最合适的数据。

最后，算法的准确。保证的了数据能稳定的导入，最后一步就是确保算法的正确性。

以上就我这些年分析数据的一些经验。