美团的 AI 实习,什么是数据增强?

大家好啊,我是董董灿。

刷到一个美团的 AI 实习生的面试帖子,帖子虽然不长,但是把美团 AI 评测算法实习生面试的问题都po出来了

图片

单纯的看帖子中面试官提出的问题,并不是很难,大部分集中在考察AI项目和对AI模型的理解上,并没有过多的考察AI算法,几道编程题除外,祝这个朋友好运好运。

我与美团也曾经有过一面之缘,这里的一面是字面意义上的一面,仅仅面试了一次。

在刚开始工作的时候,我投递过美团的算法岗位,当时和美团一起投递的还有滴滴。

但由于众所周知的原因,当时滴滴的风评并不好,所以我把希望都寄托在了美团上。

遗憾的是,因为是社招以及当时投递的岗位的原因,美团对于技术的要求并没有太高,相反更看重的是是否可以快速完成产品的迭代。说白了,你想不想做产品经理,能不能加班并且推进项目。

最终,经过了思想斗争后,我放弃了,因为确实熬不了夜、加不了班。一直到现在,都没有和美团有太多的接触。

不知道是否有朋友在美团呆过,如果你和美团接触过,可以在评论区写下你和美团的故事呀。

接下来回答一下上面实习生碰到的一个问题:什么是数据增强,以及如何做数据增强?

1、数据增强

在做一些图像分类训练任务时,经常会遇到一个很尴尬的情况,那就是:明明训练数据集中有很多可爱猫咪的照片,但是当给训练好的模型输入一张戴着头盔的猫咪进行测试时,模型就不认识了,或者说识别精度很低。

图片

很明显,模型的泛化能力太差,难道戴着头盔的猫咪就不是猫咪了吗?

要解决这类尴尬的问题,其实不需要从模型算法上下功夫,而是从训练数据集上下功夫就可以。

那就是数据增强。

2、什么是数据增强?

数据增强是一种通过对原始数据集进行变换,生成新的训练样本的技术。

这些变换包括图像翻转、旋转、缩放、裁剪以及其他各种手法,通过引入这些变化,可以有效地扩充数据集的规模,提高模型的泛化能力。

是不是很简单?

将原始数据集做一些变换然后送给模型做训练,此时裁剪出来的图片,可能就是猫咪尖尖的耳朵和大大的眼睛,训练过程中模型依然会判断这是猫。

图片

此时,如果在送给模型一只戴着头盔的猫,即使模型不认识头盔,它也认识猫耳朵,从而识别出来这是一只猫。

3、数据增强的优点

在训练模型的过程中,数据增强有几个关键的好处:

1. 泛化能力提升

数据增强有助于让模型更好地适应不同的输入,而不仅仅是训练集中的样本,这使得模型在面对新的、未曾见过的数据时更为稳健。

2. 防止过拟合

过拟合是模型过度适应训练数据,但在面对新数据时表现不佳的现象。

数据增强通过引入更多变化,有助于降低模型对训练数据的过于依赖,从而减轻过拟合风险。

3. 模型鲁棒性增强

引入各种变化有助于模型学习到更丰富、更复杂的特征,使其更能够处理现实中的复杂情况。

4、数据增强的方法

数据增强的方法其实有很多,不同的方法适用于不同的数据和任务中:

1. 翻转:包括水平和垂直翻转,模拟不同视角下的图像。

2. 旋转:对图像进行旋转,增加不同角度的视角。

3. 缩放和裁剪:调整图像的尺寸,模拟远近不同的拍摄距离。

4. 平移:在图像上进行平移操作,改变物体在图像中的位置。

5. 变换:仿射变换,包括平移、旋转、缩放和剪切等操作。

6. 颜色空间变换:转换图像的颜色空间,增加图像的多样性。

7. 添加噪声:向图像中添加随机噪声,提高模型对噪声的鲁棒性。

8. 样本混合:将两个或多个样本的特征进行混合,生成新的样本。

总的来说,数据增强是提高模型性能的重要工具,这种方法不需要绞尽脑汁的去做算法优化和迭代,就可以产生很好的训练效果。

这让我想起了GPT这种大模型,它们之所以效果好,一方面是算法很牛,模型参数很多,另一方面是它的训练数据集是整个互联网上的数据。

大力出奇迹,只要数据足够多,模型就可以显的足够智能。


我的技术专栏已经有几百位朋友加入了,如果你也希望了解AI技术,学习AI视觉或者大语言模型,戳下面的链接加入吧,这可能是你学习路上非常重要的一次点击呀

最后,送一句话给大家:生活不止眼前,还有诗和远方,共勉~

  • 10
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值