面试心经03--大数据开发工程师

一，数据质量

1，定义

数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。

2，维度指标

（1）准确性：数据的准确性（Accuracy）是指数据采集值或者观测值和真实值之间的接近程度，也叫做误差值，误差越大，准确度越低。数据的准确性由数据的采集方法决定的。
（2）真实性：数据的真实性，也叫数据的正确性（Rightness）。数据的正确性取决于数据采集过程的可控程度，可控程度高，可追溯情况好，数据的真实性容易得到保障，而可控程度低或者无法追溯，数据造假后无法追溯，则真实性难以保证。
（3）完整性：数据的完整性是从数据采集到的程度来衡量的，是应采集和实际采集到数据之间的比例。一条信息采集12个数据点，如我们采集员工信息数据的时候，要求填写姓名、出生日期、性别、民族、籍贯、身高、血型、婚姻状况、最高学历、最高学历专业、最高学历毕业院校、最高学历毕业时间等12项信息，而某一员工仅仅填写了部分信息，如只填写了其中的5项，则该员工所填写数据的完整性只有一半。
（4）全面性：数据的全面性和完整性不同，完整性衡量的是应采集和实际采集的差异。而全面性指的是数据采集点的遗漏情况。比如说，我们要采集员工行为数据，我们只采集了员工上班打卡和下班打卡的数据，上班时间的员工行为数据并未采集，或者没有找到合适的方法来采集。那么，这个数据集就是不全面的。
（5）及时性：数据的及时性（In-time）就是数据能否在需要的时候得到保证。我们月初会对上个月的经营和管理数据进行统计汇总，这些数据能否及时处理完成，财务能否在月度关账后及时核算。数据的及时性是我们数据分析和挖掘及时性的保障。如果公司的财务核算复杂，核算速度缓慢，上个月的数据在月中才能统计汇总完成，等需要调整财务策略的时候，已经到了月底了，一个月已经快过完了。特别是公司做大了之后，业务覆盖多个市场、多个国家，数据不能及时汇总，会影响到高层决策的及时程度。
（6）即时性：