图像中文描述

图像中文描述

用一句话描述给定图像中的主要信息,挑战中文语境下的图像理解问题。尝试自然语言处理与计算机视觉技术结合的力量

https://challenger.ai/competition/caption/subject

图像中文描述问题融合了计算机视觉与自然语言处理两个方向,是用人工智能算法解决多模式、跨领域问题的典型代表。参赛者需要对给定的每一张测试图片输出一句话的描述。描述句子要求符合自然语言习惯,点明图像中的重要信息,涵盖主要人物、场景、动作等内容。此次发布的图像描述数据集以中文描述语句为主,与同类科研任务常见的英文数据集相比,中文描述通常在句法、词法上灵活度较大,算法实现的挑战也较大。组委会将通过客观指标BLEU,METEOR,ROUGELCIDEr(BLEU,METEOR,ROUGEL和CIDEr)和主观评价Coherence,Relevance,HelpfulforBlind(Coherence,Relevance,HelpfulforBlind),并结合答辩表现,对参赛队伍进行评价。

数据说明

数据形式包含图像和对应5句中文描述,以下图为例。

中文描述

1)蓝天下一个穿灰色T恤帅小伙以潇洒的姿势上篮

2)蔚蓝的天空下一位英姿飒爽的男孩在上篮

3)蓝天下一个腾空跃起的男人正在奋力地灌篮

4)一个穿着灰色运动装的男生在晴朗的天空下打篮球

5)一个短头发的男孩在篮球场上腾空跃起


结果提交说明

选手提交的预测结果需要对每一张图片输出一句预测的中文描述语句,提交的预测文件格式存储为JSON,按照以下格式进行提交:


[
    {
        "image_id":"d9a9a8cfb9fdebe3f4f6996756ae23ae0e473d0c",
        "caption": "蓝天下一个男孩在投篮"
    },
    {
        "image_id":"a0f6bdc065a602b7b84a67fb8d14ce403d902e0d",
        "caption": "一个小男孩在安静的小河边钓鱼"
    },
    ...
]
    
评价标准

本赛道采用客观和主观相结合的评价标准,和答辩环节得分的总和 (根据主客观得分优秀者进入答辩环节)。

客观评价总览

客观的评价标准包括:BLEU,METEOR,ROUGEL,CIDEr。根据这四个评价标准得到一个客观评价的得分。[1]

Sm1(team)=14S(team@BLEU@4)+14S(team@METEOR)+14S(team@ROUGEL)+14S(team@CIDErD)Sm1(team)=14S(team@BLEU@4)+14S(team@METEOR)+14S(team@ROUGEL)+14S(team@CIDErD)

其中的S(team)@METEOR表示在METEOR标准下进行标准化后的得分,Sm1(team)表示客观评价分数的加权平均值,然后对分数Sm1(team)进行标准化处理得到的客观评价分数。

我们将提供验证脚本,帮助选手在线下测试模型效果。测试脚本、以及详细使用方法,将与验证数据集同时发布。

提示:图像中文描述比赛评测过程使用jieba 0.38进行中文分词。


主观评价总览

主观的评价包括:

对测试结果中的子集由评委团进行主观评价,对每个代表队的候选句子进行打分(1-5),分数越高越好。打分遵循三个原则。

流畅度(Coherence):评价生成语句的逻辑和可读性。

相关性(Relevance):评价生成语句是否包含对应的图像中有的重要的物体/动作/事件等。

助盲性(Help_For_Blind):评价生成语句对一个有视力缺陷的人去理解图像有帮助的程度。

得到主观评价排名m2,公式如下:

Sm2(team)=13S(team@Coherence)+13S(team@Relevance)+13S(team@Helpful_for_Blind)Sm2(team)=13S(team@Coherence)+13S(team@Relevance)+13S(team@Helpful_for_Blind)

其中S(team)@CoherenceS(team)@Coherence表示在CoherenceCoherence上进行标准化后的分数。


综合主观和客观评价

综合主客观评价排名选出优秀的团队参加最终的答辩

Sm1m2(team)=Sm1(team)+Sm2(team)Sm1m2(team)=Sm1(team)+Sm2(team)

Sm1m2Sm1m2分数进行从高到低排序,优选出若干只队伍进入答辩环节。


答辩分数

我们根据主客观的排名情况,选择若干只优秀的队伍进入最终答辩环节,Sm3(team)Sm3(team)为答辩评分标准化后的分数。

Sm3(team)Sm3(team) is the presentation performance score. Similarly Sm3(team)Sm3(team) needs to be normalized.


最终得分

Sm1m2m3(team)=Sm1(team)+Sm2(team)+Sm3(team)Sm1m2m3(team)=Sm1(team)+Sm2(team)+Sm3(team)

其中Sm1m2m3(team)Sm1m2m3(team)为综合客观指标、主观指标与答辩得分的最终分数,权重待定。本次比赛将根据三项加权的最终分数从高到低进行排名。

详细客观评价方法

本次图像描述比赛客观评价采用四种常用评价标准:BLEUBLEUMETEORMETEORROUGEROUGE和 CIDErCIDEr

BLEUBLEU (Bilingual Evaluation Understudy)

BLEUBLEU是一种通过计算候选译文和参考译文中nn元词共同出现的程度,来衡量候选句子与参考句子相似度的机器翻译度量方法。计算公式如下:

BLEUN(C,S)=b(C,S)exp(Nn=1ωnlogCPn(C,S))BLEUN(C,S)=b(C,S)exp⁡(∑n=1Nωnlog⁡CPn(C,S))
CPn(C,S)=ikmin(hk(ci),maxjmhk(sij))ikhk(ci)CPn(C,S)=∑i∑kmin(hk(ci),maxj∈mhk(sij))∑i∑khk(ci)
b(C,S)={1if lC>lSe1lS/lCif lClSb(C,S)={1if lC>lSe1−lS/lCif lC≤lS

其中候选语句(待评测语句)可以表示为CC,而对应的一组参考语句为Si={si1,si2,}SSi={si1,si2,⋯}∈S。n-gram表示nn元词,令ωkωk 表示第k组的n-gram。hk(ci)hk(ci)表示ωkωk在候选语句中cici的出现次数,hk(sij)hk(sij)表示的是ωkωk在参考语句sijsij中的出现的次数,其中CPn(C,S)CPn(C,S)是一个精确度度量。前面的b(C,S)b(C,S)BLEUNBLEUN的BP惩罚因子。

其中lclc表示候选语句cici的长度,lsls表示参考语句sijsij的有效长度。

ROUGELROUGEL

ROUGEROUGE是用来评价文本摘要算法的自动评价标准集,本次图像中文描述比赛主要采用其中的ROUGELROUGEL作为评价标准。

ROUGELROUGEL是基于LCS(Longest Common Subsequence)的一种测量方法。LCS是序列XX和序列YY的最大长度公共子序列的统称。cici表示的待评价语句,sijsij表示参考语句。

ROUGEL(ci,Si)=(1+β2)RlPlRl+β2PlROUGEL(ci,Si)=(1+β2)RlPlRl+β2Pl

其中RlRlPlPl的定义是:

Rl=maxjl(ci,sij)|sij|Rl=maxjl(ci,sij)|sij|
Pl=maxjl(ci,sij)|ci|Pl=maxjl(ci,sij)|ci|

其中β=RlPlβ=RlPl

METEORMETEOR

METEORMETEOR是用来评价机器翻译输出的标准。该方法将候选语句和参考语句的词进行逐一匹配,METEOR需要预先给定一组类似于WordNet的同义词库,通过最小化对应语句中连续有序的块来得出。METEOR的计算为对应候选语句和参考语句之间的准确率和召回率的调和平均。METEOR的计算公式:

METEOR=(1Pen)FmeanMETEOR=(1−Pen)Fmean
Pen=γ(chm)θPen=γ(chm)θ

其中 PenPen 的定义是:

Pen=γ(chm)θPen=γ(chm)θ

其中FmeanFmean的定义是:

Fmean=PmRmαPm+(1α)RmFmean=PmRmαPm+(1−α)Rm

其中PmPm的定义是:

Pm=|m|khk(ci)Pm=|m|∑khk(ci)

其中RmRm的定义是:

Rm=|m|khk(sij)Rm=|m|∑khk(sij)

其中,ααγγθθ均为评价的默认参数,m是基于类似于WordNet中文同义词库校准的同义词库。FmeanFmean是上文所说的LCS两个句子的相似性。

CIDErCIDEr (Consensus-based Image Description Evaluation)

CIDErCIDEr通过对每个n元组进行Term Frequency Inverse Document Frequency (TF-IDF) 权重计算,来衡量图像描述的一致性。

CIDEr(ci,Si)=Nn=1ωnCIDErn(ci,Si)CIDEr(ci,Si)=∑n=1NωnCIDErn(ci,Si)

其中的CIDErn(ci,Si)CIDErn(ci,Si)的定义是:

CIDErn(ci,Si)=1mjgn(ci)gn(sij)gn(ci)2gn(sij)2CIDErn(ci,Si)=1m∑jgn(ci)⋅gn(sij)‖gn(ci)‖2⋅‖gn(sij)‖2
gk(sij)=hk(sij)ωlΩhl(sij)log(|I|IpImin(1,qhk(spq)))gk(sij)=hk(sij)∑ωl∈Ωhl(sij)log⁡(|I|∑Ip∈Imin(1,∑qhk(spq)))

其中II表示所有图片的集合,ΩΩ表示的是n-grams的词表,gn(cij)gn(cij)gn(sij)gn(sij) 是TF-IDF的向量,其他符号在BLEUBLEU处有定义。

分数标准化方式

由于每个指标的范围与分布都不尽相同,所以在计算加权平均值之前,我们需要将所有分数进行标准化处理。具体的标准化公式为:

~x=x^σx~=xσ^

其中xx为选手在该项评价指标所得的绝对分数,~xx~为标准化后的相对分数,^σσ^是该项评价指标上所有选手的绝对分数的标准差。

^μ=Ni=1xi/Nμ^=∑i=1Nxi/N
^σ2=Ni=1(xi^μ)2/(N1)σ^2=∑i=1N(xi−μ^)2/(N−1)

其中^μμ^是该项评价指标上所有选手的绝对分数的均值。


[1] Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Hays, James and Perona, Pietro and Ramanan, Deva and Dollar, Piotr and Zitnick, C Lawrence, "Microsoft coco: Common objects in context" in European conference on computer vision, 740-755, Springer, 2014.

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值