Video Moment Retrieval 数据集整理

用于Video Moment Retrieval的数据集整理

• 数据集的介绍

  • CharadesSTA

  CharadesSTA是在Charades上进行了时间标注，共一万余条视频，来自157种动作种类，在部分视频中，需要做结构化的复杂查询，即每个查询包含至少两个子句，并且查询片段时间跨度小于视频长度的一半。训练集共13898条，测试集4233条，其中复合句1378条。

  • 数据集论文：TALL: Temporal Activity Localization via Language Query https://arxiv.org/pdf/1705.02101.pdf

  • 数据集特征地址：https://prior.allenai.org/projects/charades

  • 数据集标注地址：https://github.com/jiyanggao/TALL

  • 视频样例：https://youtu.be/x9AhZLDkbyc

  • 标注样例：
    

  • TACoS

    数据集种包含了基本烹饪的高分辨率视频记录，视频长度为1-23分钟(平均4.5分钟)。描述语料库中包含17,334个动作描述(符号)，由146,771个单词(令牌)组成，其中75,210个是实词实例(例如:名词、动词和形容词)。动词的词汇包含28292个动词标记，实现435个词素。

    • 数据集官网： https://www.coli.uni-saarland.de/projects/smile/page.php?id=tacos

    • 数据集论文： https://aclanthology.org/Q13-1003.pdf

    • 数据集样例：
      
      

  • DiDeMo

    包括超过10,000个25-30秒长的个人视频和超过40,000个文本描述。

    • 数据集实例

      

      ​

• 数据集的划分

• 名称	数据集论文	划分	备注
  ActivityNet Captions	https://openaccess.thecvf.com/content_ICCV_2017/papers/Krishna_Dense-Captioning_Events_in_ICCV_2017_paper.pdf	The public split is used for our experiments, which has 37421, 17505, and 17031 video-sentence pairs for training, validation, and testing, respectively.	划分的论文：https://aclanthology.org/D18-1015.pdf
  tacos	https://aclanthology.org/Q13-1003.pdf	We split it in 50% for training, 25% for validation and 25% for test. （ The same split as in (Gao et al., 2017) is used, consisting of 10146, 4589, and 4083 video-sentence pairs for training, validation, and testing, respectively.）	划分的论文里说和数据集论文划分一样：https://aclanthology.org/D18-1015.pdf
  Charades-STA.	https://arxiv.org/pdf/1705.02101.pdf	In total, there are 17344 pairs of sentence and video clips. We split it in 50% for training, 25% for validation and 25% for test.	划分就在数据集论文内

• tacos 数据集的两种划分

  • import json
    with open("", "r") as f:
        data = f.read()
        data = json.loads(data)
        print(len(data))
    

  • https://github.com/JaywongWang/CBP/tree/master/datasets/tacos/raw_data

  • https://github.com/ikuinen/CMIN_moment_retrieval/tree/master/data/tacos

    • train 1604 s13-d21.avi - s27-d45.avi 10146条 text
    • test 722 s27-d50 - s32-d52. 4083 条text
    • val 964 s32-d55 - s37-d46 4589条text

  • https://github.com/microsoft/2D-TAN/tree/master/data/TACoS

  • https://github.com/IsaacChanghau/VSLNet/tree/master/data/dataset/tacos

  • https://github.com/yytzsy/SCDM/tree/master/data/TACOS/datasplit_info

  • import json
    with open("", "r") as f:
        data = f.read()
        data = json.loads(data)
        s = 0
        for key in data:
            for j in data[key]['sentences']:
                s = s+1
        print(s)
    

    • train s17-d69.avi - s25-d52.avi 9790条text
    • test s30-d52 - s30-d29 4001条text
    • val s34-d28 - s36-d70 4436 条text