读取视频并转换为Tensor方法对比

最新推荐文章于 2023-08-01 22:33:16 发布
最新推荐文章于 2023-08-01 22:33:16 发布
阅读量1.2k 收藏
点赞数 1
文章标签： 计算机视觉 深度学习 pytorch 视频处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Horizon2333/article/details/115343360
版权

最近在学习视频问答（Video Question Answering），发现视频问答中对于视觉特征的处理通常是使用预训练模型提前处理好的，然而运行一些提取特征的代码的时候发现GPU占用率并不高，发现大部分时间花费在了加载视频上，考虑到以后大量的读取需求，于是自己做了一些使用python库加载视频的实验。使用的方法如下：

方法结果备注
opencv√
scikit-video√
imageio√
vidgear√
pyav√
torchvision√
simplecv×似乎不支持python3
mahotas×似乎不支持加载视频
kornia×不是用来读取视频的，用于对视频进行增强
moviepy×不能读取视频流，通常用于视频剪辑
simpleITK×不支持视频，通常用于医学影像
pgmagick×更常用在gif动图上，似乎不支持视频

注：以上若有不准确的地方请指正

测试的结果如下图所示：(这里的截图忘记放torchvision的了，完整的表格请参考我的github仓库)
在这里插入图片描述
在实验过程中注意到的一些现象：

  1. 帧合成千万不要一帧一帧concate，用list进行append之后再进行concate，这样会快很多
  2. 做resize对于画面比较大的视频来说性价比很高，对于不那么大的视频来说收益不高
  3. opencv需要BGR通道重排，使用numpy的transpose重排和torch的permute重排区别不大
  4. 转成PIL再转换为tensor是反向优化，考虑到也不用随机数据增强，所以还是opencv吧
  5. 先将图片ndarray数组汇聚成一个数组，再转换成Tensor会稍微快一点点
  6. 由于pytorch ToTensor只接受ndarray和PILImage输入，所以如果读取格式特殊，则需要转化，会造成速度全面落后
  7. vidgrear看起来很厉害，其实是最慢的，不知道是不是我api使用有问题
  8. 把视频提取成图片并没有什么优势，反而会导致文件大小迅速增大
  9. torchvision提供的io根据版本api差异比较大，不过性能确实可以与opencv相比

最后结论就是：使用opencv就好了
上述结果的测试代码和运行方法详见我的github仓库：load_video_as_tensor，如果对您有帮助请给我一个star

Horizon2333
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
load_video_as_tensor:尝试使用不同的软件包将视频加载到PyTorch中的Tensor中
03-27
在PyTorch中将视频加载到Tensor 有很多方法可以播放视频，但是为了提高视频模型的训练速度，我尝试了不同的程序包，看看哪个是最好的。 用法 首先将视频转换为图像（因为一个实验尝试加载帧）： python video2jpg.py 然后，运行实验： python test_load_video_speed.py 结果 方法 初始数据类型 中间数据类型 最终数据类型 短视频成本/秒 长视频成本/秒 小视频成本/秒 大视频成本/秒 OpenCV 数组 -- 张量 0.15 1.08 0.08 15.34 OpenCV 数组 PIL图像 张量 0.27 2.27 0.12 17.35 scikit视频 数组 -- 张量 0.43 1.32 0.21 16.00 意象 imageio.core.util.Array 数组 张量 0.71 3.41 0
video2tfrecord:轻松将RGB视频数据（例如.avi）转换为TensorFlow tfrecords文件格式，以便在TensorFlow中训练例如NN。 此实现允许限制要存储在tfrecord中的每个视频的帧数
05-02
描述 轻松地将RGB视频数据（例如，使用.avi和.mp4测试）转换为TensorFlow tfrecords文件格式，以进行培训，例如在TensorFlow中进行NN训练。 由于深度学习中常见的硬件/ GPU RAM限制，此实现允许限制要存储在tfrecord中的每个视频的帧数，或仅使用所有视频帧。 该代码自动选择帧步长，其中各个视频帧的间隔分布相等。 该实现提供了将光学流（当前为OpenCVcalcOpticalFlowFarneback）作为tfrecords数据的附加通道的选项（例如，通过将当前使用的光学流算法交换为其他算法，可以很容易地对其进行扩展）。 在代码旁边，我们还添加了一个小示例，其中包含两个.mp4文件，可从中创建两个tfrecords批处理（每个tfrecords文件一个视频）。 要访问示例，请确保使用GitHub repo而不是pip包。 该实现是在一个研究项目
Pytorch - 使用Pyav解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
HW140701的博客
03-25 2113
1 视频文件作为网络模型的输入数据 越来越多的神经网络模型开始以视频作为训练数据，比如基于视频数据的行为识别等等，这就需要我们将视频转换为可适用的张量，本文将以pytorch为例，展示一下视频数据转换为pytorch tensor的过程。 2 使用Pyav解码视频文件并将视频帧转换为Pytorch tensor 2.1 安装ffmepg以及pyav 不赘述。 2.2 视频转换为tensor import torch import numpy as np import os import av def ge
tensor转换为图片_如何将图片、视频转换为GIF图？想不到这么简单，再也不怕斗图了...
weixin_32296621的博客
12-30 173
我们在日常的聊天中，总会不知不觉就从聊天变成斗图，看见别人那那层出不穷，随心所欲出现的表情包，自己也想像他们一样有自己的表情包，却不知道如何制作？那么你就可以来试试【GIF制作软件】。视频转GIF我们在看一些视频的时候，总能在其中看见有趣的场面或者可以玩"一辈子"的梗，像这种非常具代表性的视频片段，我们都可以将它们一键制作成GIF动图。只需要将视频保存下来，打开软件之后点击"视频转GIF"后，将你...
opencv,numpy,tensor格式转换
weixin_38645650的博客
07-28 4979
cv2，PIL.Image,tensor格式转换
详解python opencv、scikit-image和PIL图像处理库比较
09-18
`transforms.Compose`允许我们创建一系列图像转换操作的流水线，如`ToTensor()`，它将图像数据归一化并转换为Tensor。 总的来说，PIL/Pillow适合基础的图像处理任务；scikit-image更适合科研和复杂算法实现；而...
使用 PyTorch 实现 MLP 并在 MNIST 数据集上验证方式
09-18
在 PyTorch 中，我们可以使用 `torchvision.datasets.MNIST` 来加载数据，同时使用 `transforms.ToTensor()` 对图像进行预处理，将其转换为张量格式。数据加载器 `DataLoader` 用于批量读取数据，它支持并行处理和...
TensorFlow运行mnist
03-22
在这个案例中，原始的MNIST数据集被转换为TFRecord格式，以便在训练模型时提高I/O效率。 2. **mnist_backward.py**： 这个脚本很可能包含了反向传播算法的实现，这是深度学习模型训练中的关键部分。反向传播用于...
基于CNN算法实现四种花的识别
04-03
1. 数据加载和预处理：这部分代码会读取数据集，对图像进行预处理，并将其划分为训练集和测试集。 2. 构建CNN模型：这涉及定义网络架构，包括卷积层、池化层、全连接层等，以及损失函数和优化器。 3. 模型训练：使用...
详解PyTorch批训练及优化器比较.pdf
04-15
在示例中，我们使用`TensorDataset(data_tensor, target_tensor)`将数据和标签转换为这种格式。 二、优化器比较 在PyTorch中，优化器（Optimizer）是用来更新网络权重的关键组件，它们决定了训练过程中学习率、...
PIL，cv2读取类型及 numpy，tensor格式转换
Lily的博客
07-27 2310
PIL，cv2读取类型及转换
pytorch：把图片数据转化成tensor
热门推荐
傲笑风的博客
08-19 4万+
摘要： 在图像识别当中，一般步骤是先读取图片，然后把图片数据转化成tensor格式，再输送到网络中去。本文将介绍如何把图片转换成tensor。 一、数据转换 把图片转成成torch的tensor数据，一般采用函数：torchvision.transforms。通过一个例子说明，先用opencv读取一张图片，然后在转换；注意一点是：opencv储存图片的格式和torch的储存方式不一样，opencv储存图片格式是（H,W,C），而torch储存的格式是（C,H,W）。 import torchvision.t
图像处理库（Opencv, Matplotlib, PIL）以及三者之间的转换
最新发布
zyw2002的博客
08-01 2997
将tensor或ndarray转换为PIL图像——这不会缩放值。将PIL图像或ndarray转换为tensor，并相应地缩放。将PIL图像转换为相同类型的张量-这不会缩放值。opencv的基本图像类型可以和numpy数组相互转化，因此可以直接调用。如果是RGBA图像，返回(H.W, 4) 形状的数组, 图片通道顺序为。如果是RGB图像，返回(H, W, 3) 形状的数组,图片通道顺序为。在其他情况下，张量在不缩放的情况下返回。如果是灰度图：返回(H,W)形状的数组。图像的模式如下图，比如。
Pytorch中Tensor与各种图像格式（PIL 和 Numpy）的相互转化
u014546828的博客
03-11 1942
目录 前言 格式转换 PIL与Tensor 1 PIL读取图片转化为Tensor 2 将PIL图片转化为Tensor 3 Tensor转化为PIL图片 4 直接展示tensor格式图片 5 直接保存tensor格式图片 Numpy与Tensor 1 numpy转化为tensor 2 tensor转化为numpy 3 展示numpy格式图片 4 展示tensor格式图片 前言 在pytorch中经常会遇到图像格式的转化，例如将PIL库读取出来的图片转化为Tensor，亦或者将T
cv2, PIL, plt图片读取，并且与Tensor相互转化
XT3121000506的博客
06-04 2591
cv2, PIL, plt图片读取，并且与Tensor相互转化
Opencv Mat转Tensor
01-20 2081
在tensorflow中，输入数据格式为Tensor格式，但是使用opencv读入的图片是Mat格式，需要对其进行转换。 1 Mat转Tensor 1.1 方法一 使用循环进行赋值，输入的image为3通道彩色图片，所以对应的Tensor大小为1*Size*Size*3，同时image为BGR格式，转化为RGB格式。 void mat2Tensor(Mat &image, Tensor &t) { resize(image, image, Size(IMAGE_SI...
tensor与数组之间的相互转换
qq_35037684的博客
07-21 6759
新手对fensorflow不熟悉，一般会有这个错误，在运行程序时报错： TypeError: The value of a feed cannot be a tf.Tensor object. Acceptable feed values include Python scalars, strings, lists, numpy ndarrays, or TensorHandles.For reference, the tensor object was Tensor(" code： with open(
PyTorch学习笔记——图像处理（torchvision.ToTensor）
CSPhD-winston的博客
03-09 6027
PyTorch学习笔记——图像处理 torchvision.ToTensortransforms.ToTensor()作用实例图像代码代码解释逆过程代码代码解释 transforms.ToTensor()作用 ToTensor()将shape为(H, W, C)的nump.ndarray或img转为shape为(C, H, W)的tensor，其将每一个数值归一化到[0,1]，其归一化方法比较简单...
使用pytorch的Tensor类型转为opencv的Mat类型
gz7seven
02-05 1297
本文介绍如何将pytorch的Tensor类型转为opencv的Mat类型，废话不多说，直接上代码。 cv::Mat CvtTensor2CvImg(at::Tensor in_tensor) { //sequeeze trans tensor shape from 1*C*H*W to C*H*W //permute C*H*W to H*W*C //in_tensor = in_tensor.squeeze().detach().permute({ 1, 2, 0 }); in_tensor =
基于pytorch读取csv文件（每行121列）一维数据用dcgan模型生成代码并将他们保存到csv文件
06-06
好的，这是一个比较复杂的需求，我需要详细解释一下步骤。 1. 导入必要的库 首先，我们需要导入 PyTorch 和 pandas 库，分别用于深度学习和数据处理。 ```python import torch import pandas as pd ``` 2. 读取 CSV 文件 使用 pandas 库的 `read_csv` 函数读取 CSV 文件，并将其转换为 PyTorch 的张量。 ```python data = pd.read_csv('data.csv') data_tensor = torch.tensor(data.values) ``` 3. 定义 DCGAN 模型 DCGAN 是一种生成对抗网络，其目的是从随机噪声中生成逼真的图像。在这里，我们将使用 DCGAN 模型来生成代码。我们可以使用 PyTorch 官方提供的 DCGAN 示例作为参考。 ```python class Generator(nn.Module): def __init__(self, ngpu): super(Generator, self).__init__() self.ngpu = ngpu self.main = nn.Sequential( # 输入为100维的随机向量 nn.ConvTranspose2d(100, 512, 4, 1, 0, bias=False), nn.BatchNorm2d(512), nn.ReLU(True), # 输出为(512, 4, 4)的张量 nn.ConvTranspose2d(512, 256, 4, 2, 1, bias=False), nn.BatchNorm2d(256), nn.ReLU(True), # 输出为(256, 8, 8)的张量 nn.ConvTranspose2d(256, 128, 4, 2, 1, bias=False), nn.BatchNorm2d(128), nn.ReLU(True), # 输出为(128, 16, 16)的张量 nn.ConvTranspose2d(128, 64, 4, 2, 1, bias=False), nn.BatchNorm2d(64), nn.ReLU(True), # 输出为(64, 32, 32)的张量 nn.ConvTranspose2d(64, 1, 4, 2, 1, bias=False), nn.Tanh() # 输出为(1, 64, 64)的张量 ) def forward(self, input): return self.main(input) # 创建生成器实例 netG = Generator(ngpu).to(device) ``` 4. 训练 DCGAN 模型 接下来，我们需要训练 DCGAN 模型。我们将使用随机噪声作为输入，并将生成的代码保存到 CSV 文件中。 ```python # 设置训练参数 criterion = nn.BCELoss() fixed_noise = torch.randn(64, nz, 1, 1, device=device) real_label = 1 fake_label = 0 optimizerG = optim.Adam(netG.parameters(), lr=lr, betas=(beta1, 0.999)) # 开始训练 for epoch in range(num_epochs): for i, data in enumerate(dataloader, 0): # 训练生成器 netG.zero_grad() noise = torch.randn(batch_size, nz, 1, 1, device=device) fake = netG(noise) label = torch.full((batch_size,), real_label, device=device) output = netD(fake.detach()).view(-1) errG = criterion(output, label) errG.backward() optimizerG.step() # 保存生成的代码到 CSV 文件 if i % 100 == 0: fake = netG(fixed_noise) generated_data = fake.view(fake.size(0), -1).cpu().detach().numpy() generated_data_df = pd.DataFrame(generated_data) generated_data_df.to_csv('generated_data.csv', mode='a', header=False, index=False) ``` 在训练过程中，我们将生成的代码保存到 CSV 文件中。 5. 读取生成的代码 最后，我们可以使用 pandas 库读取生成的代码，并将其保存到新的 CSV 文件中。 ```python generated_data = pd.read_csv('generated_data.csv', header=None) generated_data_tensor = torch.tensor(generated_data.values) generated_data_tensor.to_csv('generated_data_processed.csv', index=False) ``` 这样，我们就完成了从 CSV 文件读取数据、使用 DCGAN 模型生成代码，并将生成的代码保存到 CSV 文件的整个过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值