something-something-V2下载及解压

最新推荐文章于 2024-09-03 07:58:26 发布

YoJayC

最新推荐文章于 2024-09-03 07:58:26 发布

阅读量4.7k

点赞数 1

分类专栏：数据集动作识别文章标签： zip python ubuntu

本文链接：https://blog.csdn.net/YoJayC/article/details/108918768

版权

数据集下载 MD5校验解压文件验证

关键词由CSDN通过智能技术生成

动作识别同时被 2 个专栏收录

6 篇文章

订阅专栏

数据集

2 篇文章

订阅专栏

博客讲述了在下载something-something数据集时遇到的下载和解压问题。由于下载时间过长导致链接失效，需要重新刷新页面下载。通过检查文件MD5值确保文件完整，并在验证无误后成功解压。提供了使用MD5校验和对比文件的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

something-something之前一直下不下来，可能是vpn的问题。不过如果下载时间过长，原来的下载链接就会失效，需要重新刷新页面，所以最好一次只下一部分。

下载完之后按照页面https://20bn.com/datasets/download给出的命令

cat 20bn-something-something-v2-?? | tar zx

提取压缩文件，但是执行解压缩命令时一直提示

gzip: stdin: not in gzip format
tar: Child returned status 13
tar: Error is not recoverable: exiting now

无法解压。

最后，按照HUAWEI DLS 解压缩数据集实录 – 小金鱼儿中的方法计算每个文件的md5值，与下载的md5值进行比较，看文件是否出错。

def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

for x in compress_path.iterdir():
    md5_file, filename = (md5_path / (x.name + ".md5")).open().read().strip().split()
    md5_value = md5(str(x))
    print("{} {} {} {}".format(filename, md5_file, md5_value, md5_file == md5_value))
print("OK")

比较完之后，再执行

cat 20bn-something-something-v2-?? | tar zx

成功解压