效果类评测遇到的坑

小编最近被公司安排负责效果类的评测，因为效果类评测的数据结果判断标注比较主观，机器和算法无法正确判断，需要人工参与。所以涉及到数据标注的相关工作。因为之前未做过类似的工作，有很多未想到的问题，现分享给大家，希望大家少走弯路。

一、遇到的问题

 

    1. 用户数据各种各样，需求方未看真实用户数据，提供的标注规则特别宽泛，标注过程中遇到规则未涉及的问题特别多，规则沟通成本大；

    2. 需求方需要评测的需求属于实验功能，导致规则一直变化，有时第一天的规则与第二天的规则完全相反，人力浪费；

    3. 需求方提供的辅助信息少，后期标注过程中发现问题时再沟通，增加人力沟通成本；

    4. 标注人员因为不是测试出身，对标注数据的功能体验不足，对功能背后逻辑认知浅，导致在标注规则理解上存在偏差，导致准确率不高；

    5. 标注任务紧急，对标注规则理解不深就开始标注，导致标注准确率不高；

    6. 一些逻辑性比较强的标注任务，标注的准确率非常低；

    7. 试标注是标注人员进行，因为本身理解能力及对评测功能的认知度不够，导致发现的问题少，导致部分问题在审核数据时才暴露。

 

二、解决方案

 

 

针对上面的问题，主要从三方面进行改善。一方面是提升标注人员能