超过人的表现
讨论过机器学习进展,会在接近或者超越人类水平的时候变得越来越慢。举例谈谈为什么会这样。
假设有一个问题,一组人类专家充分讨论辩论之后,达到0.5%的错误率,单个人类专家错误率是1%,然后训练出来的算法有0.6%的训练错误率,0.8%的开发错误率。所以在这种情况下,可避免偏差是多少?这个比较容易回答,0.5%是对贝叶斯错误率的估计,所以可避免偏差就是0.1%。不会用这个1%的数字作为参考,用的是这个差值,所以也许对可避免偏差的估计是至少0.1%,然后方差是0.2%。和减少可避免偏差比较起来,减少方差可能空间更大。
但现在来看一个比较难的例子,一个人类专家团和单个人类专家的表现和以前一样,但的算法可以得到0.3%训练错误率,还有0.4%开发错误率。现在,可避免偏差是什么呢?现在其实很难回答,事实上的训练错误率是0.3%,这是否意味着过拟合了0.2%,或者说贝叶斯错误率其实是0.1%呢?或者也许贝叶斯错误率是0.2%?或者贝叶斯错误率是0.3%呢?真的不知道。但是基于本例中给出的信息,实际上没有足够的信息来判断优化的算法时应该专注减少偏差还是减少方差,这样取得进展的效率就会降低。还有比如说,如果的错误率已经比一群充分讨论辩论后的人类专家更低,那么依靠人类直觉去判断的算法还能往什么方向优化就很难了。所以在这个例子中,一旦超过这个0.5%的门槛,要进一步优化的机器学习问题就没有明确的选项和前进的方向了。这并不意味着不能取得进展,仍然可以取得重大进展。但现有的一些工具帮助指明方向的工具就没那么好用了。
现在,机器学习有很多问题已经可以大大超越人类水平了。例如,想网络广告,估计某个用户点击广告的可能性,可能学习算法做到的水平已经超越任何人类了。还有提出产品建议,向推荐电影或书籍之类的任务。想今天的网站做到的水平已经超越最亲近的朋友了。还有物流预测,从\(A\)到\(B\)开车需要多久,或者预测快递车从\(A\)开到\(B\)需要多少时间。或者预测某人会不会偿还贷款,这样就能判断是否批准这人的贷款。想这些问题都是今天的机器学习远远超过了单个人类的表现。
请注意这四个例子,所有这四个例子都是从结构化数据中学习得来的,这里可能有个数据库记录用户点击的历史,的购物历史数据库,或者从A到B需要多长时间的数据库,以前的贷款申请及结果的数据库,这些并不是自然感知问题,这些不是计算机视觉问题,或语音识别,或自然语言处理任务。人类在自然感知任务中往往表现非常好,所以有可能对计算机来说在自然感知任务的表现要超越人类要更难一些。
最后,这些问题中,机器学习团队都可以访问大量数据,所以比如说,那四个应用中,最好的系统看到的数据量可能比任何人类能看到的都多,所以这样就相对容易得到超越人类水平的系统。现在计算机可以检索那么多数据,它可以比人类更敏锐地识别出数据中的统计规律。
除了这些问题,今天已经有语音识别系统超越人类水平了,还有一些计算机视觉任务,一些图像识别任务,计算机已经超越了人类水平。但是由于人类对这种自然感知任务非常擅长,想计算机达到那种水平要难得多。还有一些医疗方面的任务,比如阅读ECG或诊断皮肤癌,或者某些特定领域的放射科读图任务,这些任务计算机做得非常好了,也许超越了单个人类的水平。
在深度学习的最新进展中,其中一个振奋人心的方面是,即使在自然感知任务中,在某些情况下,计算机已经可以超越人类的水平了。不过现在肯定更加困难,因为人类一般很擅长这种自然感知任务。
所以要达到超越人类的表现往往不容易,但如果有足够多的数据,已经有很多深度学习系统,在单一监督学习问题上已经超越了人类的水平,所以这对在开发的应用是有意义的。
最后
感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。
因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
五、面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】