CVPR2021竞赛结果出炉，阿里淘系多媒体算法包揽3项国际冠军

与其他Image Caption数据不同，该比赛的数据是由视觉有障碍的盲人拍摄，图像质量比较差，因此任务难度更高。

▐  我们的成绩

我们以 CIDEr-D score 94.06的成绩取得第一名，远超第2名的 CIDEr-D score 71.98。

总分也超过去年冠军 IBM 的CIDEr-D score 81.04。

▐  任务难点

该任务主要有两个难点：

1. 图像质量较差：含各种室内、室外的场景，同时由于拍摄者视觉障碍，拍摄图像会出现失焦模糊、拍摄不全、遮挡等问题；

2. 许多图像描述需要理解图像中的文字，不同物体，颜色等信息，需要OCR，物体检测等细节理解能力。

▐  我们通过以下途径解决这些困难

1. 针对VizWiz数据图像特性，采用swin-transformer抽取图像的grid feature替换object feature，以充分表征不同图像区域的特性；

2. 考虑到OCR及物体信息会对image caption生成产生正向引导，我们抽取了OCR及目标检测类别信息，作为特征补充；

3. 并不是所有的图像都含有OCR信息，我们采用多种模型互补融合，用视觉模态模型强化那些不含OCR的数据，用视觉+文本（OCR+物体类别）多模态模型强化含有OCR信息较丰富的数据；

4. 针对多种模型生成的结果，考虑到最终的衡量指标是CIDEr，我们通过self-cider、ocr maximization 多种策略融合的方式进行结果融合。

▐  可应用的场景

Image captioning需要视觉理解与文本生成，是视觉和NLP任务的结合，可应用于互联网产品的内容标题自动生成，另外也可以帮助盲人和视觉受损用户提升他们对世界的感知能力。

▐  赛事链接

1. workshop：

https://vizwiz.org/workshops/2021-workshop/

2. challenge：

https://eval.ai/web/challenges/challenge-page/739/overview

??? 冠军 ???

Herbarium 2021 - Half-Earth Challenge

▐  题目

Workshop：The Eight Workshop on Fine-Grained Visual Categorization

Task：fine-grained plant species identification

▐  参赛者

元年，兰枻，琉潇，有邻，暖雨，济宇，篱悠

▐  技术领域

大规模实例级物体识别

▐  比赛背景介绍

Herbarium 2021属于 CVPR2021 FGVC8 workshop的一项比赛，该workshop针对实例级细粒度识别问题，已经连续举办第八届。

Herbarium 2021 比赛数据集为从多个大型植物园收集的美洲、大洋洲等半个地球的6.5W类2.5M张植物样本图片，用于训练植物识别算法，辅助植物学家进行植物识别，发现和保护新物种。

该数据集存在长尾分布，样本数目最少的类别仅有3张样本，同时，不同植物间视觉非常相似，同时同一植物的不同样本有较大差异，给实例级识别带来很大挑战。

▐  我们的成绩

我们以F1 score 0.757的成绩在该项比赛上取得了第一名的成绩，远超第二名的0.735和第三名的 0.689。

▐  任务难点

该任务主要存在以下两个难点：

1. 植物种类多、类别细，不同植物间视觉非常相似，而同一植物的不同样本存在差异，导致类间易混淆，区分难度大；

2. 数据集的样本分布不均衡，存在长尾分布，样本数目最少的类别仅有3张样本，如何提升长尾类别准确率至关重要。

▐  我们通过以下途径解决这些困难

将自然场景中实例级植物识别问题转换成大规模细粒度特征表达问题，提出self-attention pooling进行局部特征增强提升特征表达能力；通过引入Imbalanced Sampler和自适应类别loss解决类别分布不平衡问题；此外，基于混合精度的大规模多机多卡训练能力，实现近三百万数据规模下的快速迭代能力。

实现高效万级在线难样本挖掘，极大提升了特征在复杂场景下的泛化能力。最终凭借领先亚军2.2%的优势，一举获得冠军。

▐  可应用的场景

实例级的细粒度识别技术可辨别物体间细微的视觉差异从而实现精细的物体识别，广泛应用于商品识别、动植物识别、行人识别、地标识别等领域。

▐  赛事链接

1. Workshop:

https://sites.google.com/view/fgvc8/home

2. Challenge：

https://sites.google.com/view/fgvc8/competitions/herbariumchallenge2021

3. Kaggle leadboard:

https://www.kaggle.com/c/herbarium-2021-fgvc8/leaderboard

??? 冠军 ???

ActivityNet Home Action Genome Challenge

▐  题目

Workshop：International Challenge on Activity Recognition

Task：Home Action Genome Challenge

▐  参赛者

少麟，廖越（北航），咏亮，叶盈，篱悠，刘偲（北航）

▐  技术领域

视频人物交互关系

▐  比赛背景介绍

Home Action Genome Challenge今年首次在CVPR2021 ActivityNet Workshop举办, 由斯坦福大学李飞飞教授课题组主办，比赛提供了一个大规模多视角的视频数据集，通过多模态视频分析，检测视频中存在的人物交互关系。

▐  我们的成绩

我们以准确率76.5%的成绩在该项比赛上取得了第一名的成绩，大幅领先第二名的68.4%和第三名的65.7%。

Home Action Genome Challenge 获奖证书

▐  任务****难点

该任务主要有3个难点：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

面试准备+复习分享：

为了应付面试也刷了很多的面试题与资料，现在就分享给有需要的读者朋友，资料我只截取出来一部分哦

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
sdnimg.cn/images/e5c14a7895254671a72faed303032d36.jpg" alt=“img” style=“zoom: 33%;” />

面试准备+复习分享：

为了应付面试也刷了很多的面试题与资料，现在就分享给有需要的读者朋友，资料我只截取出来一部分哦

[外链图片转存中…(img-WY1MHFBy-1712567892684)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！