读取并处理csv格式文件python代码 | webVid数据集处理 | 数据可视化

最新推荐文章于 2024-09-15 22:31:42 发布
最新推荐文章于 2024-09-15 22:31:42 发布
阅读量363 收藏
点赞数
文章标签： python 开发语言 AIGC 信息可视化 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wontoner/article/details/132225620
版权

readCsv.py

import csv
import re    # 正则表达式模块
import os

# import pandas as pd
import time
import matplotlib.pyplot as plt

# 程序运行时间计时 开始
start_time = time.perf_counter()

# 定义一个函数，将字符串转化为秒数
def convert_to_seconds(duration):
    # 使用正则表达式匹配时、分、秒的数字
    match = re.search(r'PT(\d+)H(\d+)M(\d+)S', duration)
    # 如果匹配成功，将数字转化为整数，并计算总秒数
    if match:
        hours = int(match.group(1))
        minutes = int(match.group(2))
        seconds = int(match.group(3))
        total_seconds = hours * 3600 + minutes * 60 + seconds
        return total_seconds
    # 如果匹配失败，返回None
    else:
        return 0
    

# 打开CSV文件
with open('results_10M_train.csv', 'r', encoding="utf-8") as csvFile:
    # 创建CSV读取器
    csvReader = csv.reader(csvFile)
    # 所有视频的总时长
    total_duration = 0
    total_duration_valid = 0
    
    # name字段总长度
    total_length_name = 0
    total_length_name_valid = 0

    # 行数    
    count_row = 0
    count_video = 0
    
    # 字典，存储视频时长各个区间的视频个数
    duration_seg_count = {'0': 0,'0-5': 0, '5-10': 0, '10-15': 0, '15-20': 0, '20-25': 0, '25-30': 0,'30-35':0, '35-40':0, '40-45':0, '45-50':0,'50-55':0,'55-60':0, '60-90': 0, '90-120':0, '120-150':0, '150-180':0, '180+':0}
    duration_seg_count_valid = {'0': 0,'0-5': 0, '5-10': 0, '10-15': 0, '15-20': 0, '20-25': 0, '25-30': 0,'30-35':0, '35-40':0, '40-45':0, '45-50':0,'50-55':0,'55-60':0, '60-90': 0, '90-120':0, '120-150':0, '150-180':0, '180+':0}
    # 字典，存储name字段长度各个区间的视频个数
    name_seg_count = {'0': 0, '0-20': 0, '20-40': 0, '40-60': 0, '60-80': 0, '80-100': 0, '100-120': 0, '120-140': 0, '140-160':0,'160-180':0, '180-200':0, '200+':0}
    name_seg_count_valid = {'0': 0, '0-20': 0, '20-40': 0, '40-60': 0, '60-80': 0, '80-100': 0, '100-120': 0, '120-140': 0, '140-160':0,'160-180':0, '180-200':0, '200+':0}
    # 跳过第一行(表头)
    next(csvReader)
    
    # 读取CSV数据并进行处理
    for row in csvReader: 
        count_row += 1
        # if(count_row > 100000):
        #     count_row -= 1
        #     break
        # print('##########################################################################################################')
        # print('line', count_row)
        # print(row) # ['videoid', 'contentUrl', 'duration', 'page_dir', 'name']
        
        # 在这里对每一行数据进行处理
        videoid = row[0]
        duration = row[2]
        page_dir = row[3]
        name = row[4]
        duration = convert_to_seconds(duration)
        
        # print()
        # print('videoid: ', videoid)
        # print('duration:', duration)
        # print('page_dir: ',page_dir)
        # print('name: ',name)
        
        # 根据duration字段的值，判断它属于哪个区间，并在字典中对应的键值+1
        if duration == 0:
            duration_seg_count['0'] += 1
        elif duration <= 5:
            duration_seg_count['0-5'] += 1
        elif duration <= 10:
            duration_seg_count['5-10'] += 1
        elif duration <= 15:
            duration_seg_count['10-15'] += 1
        elif duration <= 20:
            duration_seg_count['15-20'] += 1
        elif duration <= 25:
            duration_seg_count['20-25'] += 1
        elif duration <= 30:
            duration_seg_count['25-30'] += 1
        elif duration <= 35:
            duration_seg_count['30-35'] += 1
        elif duration <= 40:
            duration_seg_count['35-40'] += 1
        elif duration <= 45:
            duration_seg_count['40-45'] += 1
        elif duration <= 50:
            duration_seg_count['45-50'] += 1
        elif duration <= 55:
            duration_seg_count['50-55'] += 1
        elif duration <= 60:
            duration_seg_count['55-60'] += 1
        elif duration <= 90:
            duration_seg_count['60-90'] += 1
        elif duration <= 120:
            duration_seg_count['90-120'] += 1
        elif duration <= 150:
            duration_seg_count['120-150'] += 1
        elif duration <= 180:
            duration_seg_count['150-180'] += 1
        else:
            duration_seg_count['180+'] += 1
            
        # 将duration字段的值累加到总时长变量中
        total_duration += duration
        
        # 根据name字段的长度，判断它属于哪个区间，并在字典中对应的键值+1
        length = len(name)
        if length <= 0:
            name_seg_count['0'] += 1
        if length <= 20:
            name_seg_count['0-20'] += 1
        elif length <= 40:
            name_seg_count['20-40'] += 1
        elif length <= 60:
            name_seg_count['40-60'] += 1
        elif length <= 80:
            name_seg_count['60-80'] += 1
        elif length <= 100:
            name_seg_count['80-100'] += 1
        elif length <= 120:
            name_seg_count['100-120'] += 1
        elif length <= 140:
            name_seg_count['120-140'] += 1
        elif length <= 160:
            name_seg_count['140-160'] += 1
        elif length <= 180:
            name_seg_count['160-180'] += 1
        elif length <= 200:
            name_seg_count['180-200'] += 1
        else:
            name_seg_count['200+'] += 1
        
        # 将name长度值累加到总长度变量中
        total_length_name += length
        

        ori_file_path = './WebVid/' + page_dir
        ori_file_name = str(videoid) + '.mp4' 
        ori_file_path_name = ori_file_path + '/' + ori_file_name
        
        if(os.path.exists(ori_file_path_name)):
            count_video += 1
            
            if duration == 0:
                duration_seg_count_valid['0'] += 1
            elif duration <= 5:
                duration_seg_count_valid['0-5'] += 1
            elif duration <= 10:
                duration_seg_count_valid['5-10'] += 1
            elif duration <= 15:
                duration_seg_count_valid['10-15'] += 1
            elif duration <= 20:
                duration_seg_count_valid['15-20'] += 1
            elif duration <= 25:
                duration_seg_count_valid['20-25'] += 1
            elif duration <= 30:
                duration_seg_count_valid['25-30'] += 1
            elif duration <= 35:
                duration_seg_count_valid['30-35'] += 1
            elif duration <= 40:
                duration_seg_count_valid['35-40'] += 1
            elif duration <= 45:
                duration_seg_count_valid['40-45'] += 1
            elif duration <= 50:
                duration_seg_count_valid['45-50'] += 1
            elif duration <= 55:
                duration_seg_count_valid['50-55'] += 1
            elif duration <= 60:
                duration_seg_count_valid['55-60'] += 1
            elif duration <= 90:
                duration_seg_count_valid['60-90'] += 1
            elif duration <= 120:
                duration_seg_count_valid['90-120'] += 1
            elif duration <= 150:
                duration_seg_count_valid['120-150'] += 1
            elif duration <= 180:
                duration_seg_count_valid['150-180'] += 1
            else:
                duration_seg_count_valid['180+'] += 1
            
            total_duration_valid += duration
            
            if length <= 0:
                name_seg_count_valid['0'] += 1
            if length <= 20:
                name_seg_count_valid['0-20'] += 1
            elif length <= 40:
                name_seg_count_valid['20-40'] += 1
            elif length <= 60:
                name_seg_count_valid['40-60'] += 1
            elif length <= 80:
                name_seg_count_valid['60-80'] += 1
            elif length <= 100:
                name_seg_count_valid['80-100'] += 1
            elif length <= 120:
                name_seg_count_valid['100-120'] += 1
            elif length <= 140:
                name_seg_count_valid['120-140'] += 1
            elif length <= 160:
                name_seg_count_valid['140-160'] += 1
            elif length <= 180:
                name_seg_count_valid['160-180'] += 1
            elif length <= 200:
                name_seg_count_valid['180-200'] += 1
            else:
                name_seg_count_valid['200+'] += 1
            
            total_length_name_valid += length
        
    # 视频个数
    total_count = count_row
    total_count_valid = count_video

    # 计算所有视频的平均时长，即总时长除以个数
    average_duration = total_duration / total_count
    average_duration_valid = total_duration_valid / total_count_valid
    
    # 计算所有name字段的平均长度，即总长度除以个数
    average_length_name = total_length_name / total_count
    average_length_name_valid = total_length_name_valid / total_count_valid
    
    print('====================================statistical results====================================')
    print('every lines in csv:\n')
    # 打印duration字段统计结果
    print('count: ' + str(total_count) + '\n')
    print('total_duration: ', total_duration / 3600, 'h\n')
    print('duration_seg_count: ' + str(duration_seg_count) + '\n')
    print('average_duration: ' + str(average_duration) + 's\n')
    
    # 打印name字段统计结果
    print('total_length_name: ', total_length_name / 1000000 ,'M', '\n')
    print('name_seg_count: ' + str(name_seg_count) + '\n')
    print('average_length_name: ' + str(average_length_name) + '\n')
    
    print('-----------------------------------------')
    
    # 有效视频
    print('valid video:\n')
    # 打印duration字段统计结果
    print('count: ' + str(total_count_valid) + '\n')
    print('total_duration: ', total_duration_valid / 3600, 'h\n')
    print('duration_seg_count: ' + str(duration_seg_count_valid) + '\n')
    print('average_duration: ' + str(average_duration_valid) + 's\n')
    
    # 打印name字段统计结果
    print('total_length_name: ', total_length_name_valid / 10000 ,'W', '\n')
    print('name_seg_count: ' + str(name_seg_count_valid) + '\n')
    print('average_length_name: ' + str(average_length_name_valid) + '\n')
    
    
csvFile.close()
print("====================================CSV file processing complete====================================")
## 数据可视化

# 绘制duration柱状图
x_duration = list(duration_seg_count.keys())   # x轴是时长区间
y_duration = list(duration_seg_count.values()) # y轴是视频数量

fig, ax = plt.subplots()
plt.bar(x_duration, y_duration) # 使用plt.bar函数
plt.xlabel('Video duration range(s)') # 添加x轴标签
plt.ylabel('Number of videos') # 添加y轴标签
plt.title('Distribution of different video durations') # 添加标题
plt.xticks(rotation=45) # 旋转x轴刻度标签，避免重叠
plt.text(0.5, 0.99, 'average_duration: ' + str(average_duration), transform=ax.transAxes, horizontalalignment='left', verticalalignment='top')
plt.savefig('duration_seg_count.png') # 保存图片到本文件夹下，命名为duration_seg_count.png
# plt.show() # 显示图形

plt.clf()  # 清除画布

# 绘制name柱状图
x_name = list(name_seg_count.keys())   # x轴是时长区间
y_name = list(name_seg_count.values()) # y轴是视频数量

fig, ax = plt.subplots()
plt.bar(x_name, y_name) # 使用plt.bar函数
plt.xlabel('Text length range(s)') # 添加x轴标签
plt.ylabel('Number of videos')     # 添加y轴标签
plt.title('Distribution of different text length') # 添加标题
plt.xticks(rotation=45) # 旋转x轴刻度标签，避免重叠
plt.text(0.5, 0.99, 'average_length_name: ' + str(average_length_name), transform=ax.transAxes, horizontalalignment='left', verticalalignment='top')
plt.savefig('name_seg_count.png') # 保存图片到本文件夹下，命名为name_seg_count.png

# plt.show() # 显示图形

## valid数据可视化

# 绘制duration柱状图
x_duration = list(duration_seg_count_valid.keys())   # x轴是时长区间
y_duration = list(duration_seg_count_valid.values()) # y轴是视频数量

fig, ax = plt.subplots()
plt.bar(x_duration, y_duration) # 使用plt.bar函数
plt.xlabel('Video duration range(s)') # 添加x轴标签
plt.ylabel('Number of videos') # 添加y轴标签
plt.title('Distribution of different video durations') # 添加标题
plt.xticks(rotation=45) # 旋转x轴刻度标签，避免重叠
plt.text(0.5, 0.99, 'average_duration: ' + str(average_duration_valid), transform=ax.transAxes, horizontalalignment='left', verticalalignment='top')
plt.savefig('duration_seg_count_valid.png') # 保存图片到本文件夹下，命名为duration_seg_count.png
# plt.show() # 显示图形

plt.clf()  # 清除画布

# 绘制name柱状图
x_name = list(name_seg_count_valid.keys())   # x轴是时长区间
y_name = list(name_seg_count_valid.values()) # y轴是视频数量

fig, ax = plt.subplots()
plt.bar(x_name, y_name) # 使用plt.bar函数
plt.xlabel('Text length range(s)') # 添加x轴标签
plt.ylabel('Number of videos')     # 添加y轴标签
plt.title('Distribution of different text length') # 添加标题
plt.xticks(rotation=45) # 旋转x轴刻度标签，避免重叠
plt.text(0.5, 0.99, 'average_length_name: ' + str(average_length_name_valid), transform=ax.transAxes, horizontalalignment='left', verticalalignment='top')
plt.savefig('name_seg_count_valid.png') # 保存图片到本文件夹下，命名为name_seg_count.png


end_time = time.perf_counter()
print("program running time: ", (end_time - start_time)/60, "min")



# 计算csv文件中的总行数
# results = pd.read_csv('results_10M_train.csv')
# print(len(results)) #10727607 千万量级 10B

运行结果展示： 

Wontoner
关注
手把手写深度学习(25)：下载并清洗WebVid-10M数据集
沉迷单车的追风少年
03-29 1685
WebVid-10M是一个大型文本-视频配对数据集，时至今日，依旧是做视频理解、视频生成等任务的首选数据集。这篇博客手把手详细教大家如何下载和清洗这个数据集。
手把手写深度学习(1)：WebVid-10M数据清洗之文字/水印检测清洗-复现Stable Video Diffusion论文
沉迷单车的追风少年
01-22 1064
WebVid-10M是做Diffusion Models视频生成必不可少的数据集。这个数据集明显的特点是有水印，还有少量文字，这些都需要在数据清洗的过程中处理了。这篇博客将从实战出发，手把手教大家如何清洗WebVid-10M中的水印和文字。
ICCV2021- 牛津大学新的预训练视频文本数据集WebVid-2M，设计用于端到端检索的联合视频和图像编码器！代码已开源！...
我爱计算机视觉
12-07 2407
关注公众号，发现CV技术之美▊写在前面视频文本检索的挑战包括视觉网络结构的设计 和训练数据的性质 ，因为可用的大规模视频文本训练数据集 (例如HowTo100M) 是noisy的，因此只...
如何科学评价视频生成模型？AIGCBench：全面可扩展的视频生成任务基准来了！
AIGCer的博客
01-08 1925
AIGC领域正迅速发展，特别是在视频生成方面取得了显著进展。本文介绍了AIGCBench，这是一个首创的全面而可扩展的基准，旨在评估各种视频生成任务，主要关注图像到视频（I2V）生成。AIGCBench解决了现有基准的局限性问题，这些问题主要表现为缺乏多样化的数据集，通过包含一个多样且开放域的图像文本数据集，该数据集评估了不同的最新算法在等效条件下的性能。本文采用了一种新颖的文本组合器和GPT-4来创建丰富的文本提示，然后使用先进的文本到图像模型生成图像。
视频文本描述数据集
m0_51193993的博客
03-07 1103
视频文本描述公开数据集。
AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 轻松文生视频
Bubbliiiing的学习小课堂
04-13 5198
在过年期间，OpenAI放出了SORA文生视频的预览效果，一瞬间各大媒体争相报道，又引爆了一次科技圈，可惜的是，SORA依然没选择开源。在这个契机下，本来我也对文生视频的工作非常感兴趣，所以也研究了一些与SORA相关的技术，虽然我们没有像OpenAI那么大的算力，但做一些基础研究还是足够的。 最近我参与了一个EasyAnimate的项目，可以根据文本生成视频，并且借鉴了Animatediff的IDEA，将MotionModule网格化后引入到DIT中，借助DIT的强大生成能力，生成视频效果也还不错。
Python数据可视化（处理地下车库情况的CSV文件，统计信息并绘图）
03-10
此资源充分使用了Python的pandas库来进行CSV文件和Excel文件的处理工作，包括数据分组、排序、导出、插入等。绘制柱状图时不仅需要使用pandas库，还需要matplotlib库，前者用来做数据处理，后者用来做图像的展示和...
Python对CSV文件数据进行可视化
12-21
在本示例中，我们将学习如何使用Python处理CSV文件并进行数据可视化。首先，我们需要导入必要的库，包括`csv`用于读取CSV文件，`matplotlib.pyplot`用于数据可视化。 1. **获取CSV文件** 我们需要下载名为`sitka_...
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
数据可视化：代码使用pandas库读取CSV文件中的数据，并通过sort_values方法对数据按照人气进行降序排序。然后，通过matplotlib库绘制水平柱状图，展示人气排名前10的菜品。设置中文显示，调整字体，添加标签和标题，...
第六课可视化代码.zip_python 数据处理_python课_快速可视化_数据可视化_数据处理
09-15
在本课程中，我们将深入探讨Python中的数据可视化与快速数据处理技术。数据可视化是将复杂的数据集转换为易于理解的图形或图像的过程，这有助于我们洞察数据中的模式、趋势和关联性。Python作为一门强大的编程语言，...
python csv数据处理生成图_Python 读取CSV文件数据并生成可视化图形
weixin_36158843的博客
02-19 7603
CSV 文件数据读取并生成图形CSV 文件格式在文本文件中存储数据，最简单的方式就是将数据按照一定的格式存放在文件中，在读取文件时根据设计好的格式去将对应数据读取出来，这样就能很方便的进行简单数据的分类存储和读取了。CSV 文件格式就是这样一种有着固定的格式的文件格式，CSV 文件中保存的数据之间会以逗号分割开来。例如下图这样。CSV 文件头Python 模块 csv 包含在 Python 标准库...
手把手写深度学习(0)：专栏文章导航
沉迷单车的追风少年
09-27 996
手把手写深度学习(0)：专栏文章导航
TikTok（字节跳动）的新人工智能Boximator
weixin_45034594的博客
03-07 1110
Boximator 将“box”和“animator”结合起来来描述其功能：使用用户定义的box对视频中的对象进行动画处理。该工具旨在让用户控制视频中对象的移动方式，提供硬盒和软盒的混合用于运动控制。硬盒可实现精确的对象轮廓，而软盒可实现更流畅的运动路径。在上面的示例中，所有边界框都投影到裁剪区域（白色虚线框）。作为一名技术爱好者，我很高兴看到科技巨头展示 Boximator 和 Sora 等在不久的将来我们可以触手可及的软件。然而，重要的是要意识到与该技术相关的风险。
【文生视频】InternVid: A Large-scale Video-Text Dataset forMultimodal Understanding and Generation
一只大憨憨的博客
04-25 1166
我们的核心贡献是开发一种可扩展的方法，用大型语言模型（LLM）自主构建高质量的视频文本数据集，提供视频文本表示学习模型ViCLIP。目前的研究依赖于HowTo100M[2]、HD-VILA[3]和YTTemporal[4，5]等数据集，这些数据集的文本是使用自动语音识别（ASR）生成的。尽管规模很大，但这些数据集在视频和相应的文本描述之间的语义相关性往往很低[2-5]。实证研究表明，改善这种相关性（例如，将视频与字幕对齐以提高其匹配性）显著有利于视频检索和视频问答等下游任务[6]。文本视频对齐非常重要。We
读取csv格式文件 在视频中添加指定文本 | webVid数据集处理
Wontoner的博客
08-11 335
【代码】读取csv格式文件 在视频中添加指定文本 | webVid数据集处理。
探秘WebVid：开启视频处理的新篇章
gitblog_00030的博客
04-26 373
探秘WebVid：开启视频处理的新篇章 项目地址:https://gitcode.com/m-bain/webvid WebVid 是一个创新性的开源项目，它专注于在浏览器中实现高性能的视频处理和分析。这个项目的独特之处在于，它利用现代Web技术，如WebAssembly和WebGPU，为开发者提供了一个可以在浏览器环境中运行的强大视频处理引擎。 技术解析 WebAssembly：WebVid的核...
视频版Stable Diffusion：英伟达做到最高1280×2048、最长4.7秒
zandaoguang的博客
04-20 436
视学算法报道编辑：杜伟在生成式 AI 盛行的今天，英伟达在文本生成视频领域更进了一步，实现了更高分辨率、更长时间。要说现阶段谁是 AI 领域的「当红辣子鸡」？生成式 AI 舍我其谁。包括 ChatGPT 等对话式 AI 聊天应用、Stable Diffusion 等 AI 绘画神器在内，生成式 AI 展示的效果深深地抓住了人们的眼球。我们以图像生成模型为例，得益于底层建模技术最近的突破，它们收获了...
Python世界：力扣29题两数相除算法实践
来知晓的博客
09-13 425
除法运算本质是减法，从理解原理到真正实现还是有距离，建议初步理解后，不参考任何代码，完全自己复现一遍，体会更深。注意提示：目的就是提醒越界问题：-2^31/-1=2&31，超过了整数表达范围。本问题来自于力扣29题，在做完大数相乘后，顺带也看下两数相除。将两数相除，要求不使用乘法、除法和 mod 运算符。给定两个整数，被除数。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 454
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值