数据标注行业中的“睁一只眼闭一只眼”

最新推荐文章于 2023-05-31 11:35:27 发布

AI数据标注猿

最新推荐文章于 2023-05-31 11:35:27 发布

阅读量309

点赞数

分类专栏：数据标注文章标签：数据标注人工智能

本文链接：https://blog.csdn.net/xinyi818/article/details/126048152

版权

57 篇文章 45 订阅

订阅专栏

标注猿的第64篇原创

一个用数据视角看AI世界的标注猿

首先感谢小伙伴的关注、转发分享、点赞，最近的几篇文章也得到大家的热烈关注讨论。为了给小伙伴们一个交流的空间，新建了“AI数据标注猿交流社区”供大家进行行业内的信息交流，交流社区不做人员分类限制，会增加多维度人员对行业内信息的交流与碰撞，希望可以从多角度提出更多的解决方案的思路。

这几天也和投过行业内公司的投资人、准备下场做数据标注自动化标注工具的研发型公司的小伙伴深入交流很多思路和想法。其中也聊到了数据标注行业的发展困境，以及导致发展困境的一些问题。本文就针对数据标注行业中“睁一只眼闭一只眼”的趣事儿进行讨论，主要角度是以供应商角度去探讨如下三个问题。

一.平台工具的预标注、自动标注功能

首先我们先了解定义什么是预标注、自动标注。在数据标注行业里，主要是用已有的是识别算法对数据进行预处理或自动标注得到预处理的结果的过程。得到的预处理结果会再有人工进行进一步处理加工以得到更高准确率的标注结果集，用于对算法的训练。

目前来看自动标注功能在需求方公司是必然需要实现的，是可以实现数据闭环的，即使无法完成非常准确的自动标注，但只是在待标注数据的优化以及标注效率提升上都会有不错的效果。即使是在局部标注过程中标注员的感觉效率提升还是很有限的，但是从整体数据集的考虑效果还是非常好的。

但从供应商的平台工具角度，宣传时会提到准确率可以达到99.5%，自动标注可以提高很大效率。但这里面会有几点逻辑“悖论”？从以下几个原因进行探讨：

数据标注本是非标的项目，及时是相同的数据不同的公司的需求都会有差异，及时是相同的公司不同的时段也会有差异。这样数据标注公司就无法像需求方公司一样在某一个方向进行深入的算法迭代。
而需求方为了降低项目成本也会对待标注数据进行多次的处理工作，基本给出来的场景数据都是在算法表现不好的才需要标注。那么从这个逻辑来考虑，供应商的预处理算法一定是无法起到想要的预处理效果的。
数据的所有权应该归客户所有，即使客户把数据给到供应商，供应商也无权利用数据及标注结果训练数据，那么就无法提升算法效果，也就不存在越标注效率越高的说法，如果真的越标注预识别的效果越好，那么是不是就可以怀疑未经授权使用数据及结果了呢？

二.标注准确率99.5%

当我第一次看到有公司如此宣传的时候，还是非常惊讶的。基于目前行业内的质检方法来看，几乎都是无法保障能达到这个数值的。后来转念一下，得到这个数值的逻辑，可以参考汽车的100公里加速秒数的逻辑。

都是出于理想状态下获取的数值，实际却基本无法达到。

这里可以列举几个目前行业内“传说”中常见的质检方法，为什么是“传说”呢，核心原因是大部分都只是听说，实战非常少使用。