InternVid数据集的下载指南

1. InternVid数据集内容

1. 目前提供了InternVid-10M-FLT。总计76Khours的视频。
2. 包含视频及其画面caption描述。

2. 下载

安装对应的库

pip install datasets
pip install pytube
huggingface-cli login

2.1 加载数据文件

官方没提供视频来源，只找到了一个jsonl文件。先加载这个文件。

dataset = load_dataset("OpenGVLab/InternVid")
print(dataset)                                                          

会自动从hugging face下载并load，如果是网络问题搜索hf镜像来解决。也可以自己下载好jsonl文件后本地自己一条条读入

另外可能会遇到bug：

解决方法：
datasets源码里直接修改，修改了File “XXX/lib/python3.9/site-packages/datasets/splits.py”, line 634的name，改为self.name=‘InternVid_10M_FLT’。

load进来数据大概是1000多万条。下面是其中一条的例子：

{"YoutubeID": "HdYoyzCSWyw", "Start_timestamp": "00:03:10.567", "End_timestamp": "00:03:11.200", "Caption": "woman using a computer mouse and keyboard", "UMT-SIM": 0.2793}

包含视频的ID，起始时间和终止时间，对应的描述caption，还有UMT-SIM，一种评价指标。

2.2 下载视频文件

我采用的方法是使用pytube库下载视频。先获取视频的ID，然后下载整段视频，再用opencv库里的函数进行裁剪，然后删除原视频。
有的库貌似可以下载指定时间段的视频，但暂时还没研究出来。
提供一个参考的脚本：

import os
import cv2
import sys
from datasets import load_dataset
import threading
from pytube import YouTube
from pytube.exceptions import VideoPrivate,AgeRestrictedError,VideoUnavailable
from datetime import datetime
def progress(s, chunk, bytes_remaining):
    download_percent = int((s.filesize-bytes_remaining)/s.filesize*100)
    sys.stdout.write(f'\rProgress: {download_percent} %')
    sys.stdout.flush()

def complete(s, file_path):
    print(f'Download complete: {file_path}')

def download_video(youtube_id, custom_filename, start_time, end_time, idx, retry_count=0):
    output_file = 'XXX.mp4'  # 输出文件名
    # 检查文件是否已经存在
    if os.path.exists(output_file):
        print(f'视频 {idx} 已经存在，跳过下载。')
        return
    try:
        youtube_video = YouTube(f'https://www.youtube.com/watch?v={youtube_id}', on_progress_callback=progress, on_complete_callback=complete)
        video_stream = youtube_video.streams.get_highest_resolution()
        # 检查视频大小，如果大于100MB，就跳过这个视频
        if video_stream.filesize_mb > 50 :  # 50MB
            print(f'视频 {idx} 大于50MB,跳过下载。')
            return
        print(f'开始下载，视频{idx}大小为{video_stream.filesize_mb:.2f}MB')# 保留两位小数
        video_path = video_stream.download(output_path=download_path, filename=custom_filename)
        print(f'视频 {idx} 下载完成，保存路径为：{video_path}')
    except Exception as e:  # 添加这一行来捕获所有的异常
        print(f'下载视频 {idx} 时发生了未知错误：{e}')  # 打印出异常的详细信息
        return
    # 将时间戳字符串转换为秒
    start_time = datetime.strptime(start_time, "%H:%M:%S.%f")
    start_time = start_time.hour * 3600 + start_time.minute * 60 + start_time.second + start_time.microsecond / 1e6
    end_time = datetime.strptime(end_time, "%H:%M:%S.%f")
    end_time = end_time.hour * 3600 + end_time.minute * 60 + end_time.second + end_time.microsecond / 1e6
    # 裁剪视频
    cap = cv2.VideoCapture(video_path)
    fps = cap.get(cv2.CAP_PROP_FPS)  # 获取视频的帧率
    start_frame = int(start_time * fps)  # 计算开始帧的位置
    end_frame = int(end_time * fps)  # 计算结束帧的位置

    fourcc = cv2.VideoWriter_fourcc(*'mp4v')  # 定义编码器
    output_file = 'XXX.mp4'  # 输出文件名
    out = cv2.VideoWriter(output_file, fourcc, fps, (int(cap.get(3)), int(cap.get(4))))  # 创建VideoWriter对象

    cap.set(cv2.CAP_PROP_POS_FRAMES, start_frame)  # 设置开始帧的位置
    while cap.isOpened():
        ret, frame = cap.read()
        if ret and int(cap.get(cv2.CAP_PROP_POS_FRAMES)) <= end_frame:
            out.write(frame)
        else:
            break
    # 释放资源
    cap.release()
    out.release()
    # 删除原始视频
    os.remove(video_path)
    print(f'裁剪完毕，已删除原始视频 {idx}')

if __name__ == '__main__':
    dataset = load_dataset("OpenGVLab/InternVid",'InternVid-10M')
    print(dataset)
    # 下载路径
    download_path = './video/'  # 原视频的路径
    # 创建并启动多个线程来下载视频
    threads = []
    for i in range(0,100000,5):
        for j in range(i, min(i+5, 100000)):  # 同时下载
            video_id = dataset["InternVid_10M_FLT"][j]["YoutubeID"]
            start_time = dataset["InternVid_10M_FLT"][j]["Start_timestamp"]
            end_time = dataset["InternVid_10M_FLT"][j]["End_timestamp"]
            custom_filename = video_id + '.mp4'
            thread = threading.Thread(target=download_video, args=(video_id, custom_filename, start_time, end_time, j))
            thread.start()
            threads.append(thread)
        # 等待所有线程完成下载
        for thread in threads:
            thread.join()
    print("所有视频下载并裁剪完成")