业内首个数据集高级清洗服务 百度EasyData智能数据服务平台免费试用中

在进行AI模型开发时，数据的数量与质量直接影响模型效果。在实地数据采集之后，企业往往需要从大量数据中筛选出符合训练要求的相关数据，剔除质量差或不相关的数据，这个步骤被称为数据清洗。

通常来讲，在清洗数据时主要会清理掉对训练任务没有用途的数据，例如在训练工厂工人佩戴安全帽识别模型时，希望在视频抽帧后的大量图片中仅保留有工人出现的图片进行标注训练。在这一步骤上，传统做法是进行人工筛选，人力投入较多且容易发生遗漏；随着人工智能发展，目前许多平台，如百度大脑AI开放平台，已经提供人脸检测、人体检测的通用接口，用户可以先调用接口处理数据，筛选出采集到人像的数据，再进入到具体的检测识别步骤。那么，是否有一个集成了各项数据处理能力，尽量减少人工干预，能够自动完成视频数据采集、抽帧、数据清洗、智能标注，从而高效提取高质量训练数据的解决方案呢？

关注到有越来越多的用户对数据处理有强烈需求，今年4月，百度全新推出智能数据服务平台EasyData，集数据采集、数据清洗、数据标注等功能于一身，完成上述数据处理工作之后，可以在EasyDL平台进行模型训练、模型部署。

针对数据清洗这一具体功能，EasyData目前上线了去相似、去模糊、旋转、裁剪和镜像这5种基础的数据清洗功能。那么除了常规能力之外，EasyData还有什么业内独家的终极秘技？

 

从应用出发，高级清洗功能让数据处理事半功倍

在园区智能管理等场景下，需要监测工厂园区、林区中是否有人闯入，或检查工人是否佩戴安全帽。为了满足此类场景下的图片清洗需求，EasyData上线了高级清洗功能，将无人脸、无人体出现的数据进行过滤。EasyData联动百度大脑AI开放平台提供的前沿技术能力，用户仅需在百度智能云上开通相应的服务（人脸检测和人体检测都可以免费试用），就可以通过简单的配置，在EasyData平台上直接使用这些功能进行自动数据清洗。

 

1、过滤无人脸图片

如果以前没有用过百度智能云的人脸检测服务，第一次使用高级清洗的功能会提示“申请免费试用”，点击链接会进入百度智能云人脸检测的页面，按照提示，开通服务后，再回到EasyData的页面就可以正常使用了。

和基础的数据清洗服务一样，过滤无人脸图片也是以数据集为单位的。在数据清洗页面选择过滤无人脸图片，点击保存，提交任务就可以进行清洗。如果勾选了“保留标签”，那么不仅会把没有人脸的图片过滤，还会将人脸画框同步至清洗后的数据集。