[Pytorch图像分类全流程实战]Task04:新图片、新视频预测

最新推荐文章于 2023-09-15 16:11:48 发布
最新推荐文章于 2023-09-15 16:11:48 发布
阅读量380 收藏 2
点赞数
文章标签： 分类 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59286668/article/details/128768117
版权

主要内容如下：

 

【A】安装配置环境

!pip install numpy pandas matplotlib requests tqdm opencv-python pillow -i https://pypi.tuna.tsinghua.edu.cn/simple

##下载安装Pytorch
!pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

##下载安装mmcv-full
# 安装mmcv -full
!pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.10.0/index.html

##下载中文字体文件
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/SimHei.ttf

##创建目录
import os

# 存放测试图片
os.mkdir('test_img')

# 存放结果文件
os.mkdir('output')

# 存放训练得到的模型权重
os.mkdir('checkpoints')

# 下载样例模型文件
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/checkpoints/fruit30_pytorch_20220814.pth -P checkpoints

# 下载 类别名称 和 ID索引号 的映射字典
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/fruit30/idx_to_labels.npy

# 下载测试图像文件 至 test_img 文件夹

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_fruits.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_orange_2.jpg -P test_img 

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_bananan.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_kiwi.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_石榴.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_orange.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_lemon.jpg -P test_img

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/test_火龙果.jpg -P test_img

!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/test/watermelon1.jpg -P test_img

!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/test/banana1.jpg -P test_img

# 下载测试视频文件 至 test_img 文件夹

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220716-mmclassification/test/0818/fruits_video.mp4 -P test_img 

##设置matplotlib中文字体
import matplotlib.pyplot as plt
%matplotlib inline

##windows操作系统，Linux操作系统代码参考前文

# Linux操作系统，例如 云GPU平台：https://featurize.cn/?s=d7ce99f842414bfcaea5662a97581bd1
# 如果报错 Unable to establish SSL connection.，重新运行本代码块即可
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/SimHei.ttf -O /environment/miniconda3/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/SimHei.ttf --no-check-certificate
!rm -rf /home/featurize/.cache/matplotlib

import matplotlib
import matplotlib.pyplot as plt
%matplotlib inline
matplotlib.rc("font",family='SimHei') # 中文字体
plt.rcParams['axes.unicode_minus']=False  # 用来正常显示负号

plt.plot([1,2,3], [100,500,300])
plt.title('matplotlib中文字体测试', fontsize=25)
plt.xlabel('X轴', fontsize=15)
plt.ylabel('Y轴', fontsize=15)
plt.show()

 

【B】预测新图像

使用训练好的图像分类模型（上一讲），对新图像文件进行预测

##导入工具包
import torch
import torchvision
import torch.nn.functional as F

import numpy as np
import pandas as pd

import matplotlib.pyplot as plt
%matplotlib inline

# 有 GPU 就用 GPU，没有就用 CPU
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

##设置matplotlib中文字体
# Linux操作系统，例如 云GPU平台：https://featurize.cn/?s=d7ce99f842414bfcaea5662a97581bd1
# 如果遇到 SSL 相关报错，重新运行本代码块即可
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/SimHei.ttf -O /environment/miniconda3/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/SimHei.ttf
!rm -rf /home/featurize/.cache/matplotlib

import matplotlib
matplotlib.rc("font",family='SimHei') # 中文字体

##导入pillow中文字体
from PIL import Image, ImageFont, ImageDraw
# 导入中文字体，指定字号
font = ImageFont.truetype('SimHei.ttf', 32)

##载入类别
idx_to_labels = np.load('idx_to_labels.npy', allow_pickle=True).item()

print(idx_to_labels)
{0: '哈密瓜',
, 1: '圣女果',
, 2: '山竹',
, 3: '杨梅',
, 4: '柚子',
, 5: '柠檬',
, 6: '桂圆',
, 7: '梨',
, 8: '椰子',
, 9: '榴莲',
, 10: '火龙果',
, 11: '猕猴桃',
, 12: '石榴',
, 13: '砂糖橘',
, 14: '胡萝卜',
, 15: '脐橙',
, 16: '芒果',
, 17: '苦瓜',
, 18: '苹果-红',
, 19: '苹果-青',
, 20: '草莓',
, 21: '荔枝',
, 22: '菠萝',
, 23: '葡萄-白',
, 24: '葡萄-红',
, 25: '西瓜',
, 26: '西红柿',
, 27: '车厘子',
, 28: '香蕉',
, 29: '黄瓜'}
##导入训练好的模型
model = torch.load('checkpoints/fruit30_pytorch_20220814.pth')
model = model.eval().to(device)

##预处理
from torchvision import transforms
# 测试集图像预处理-RCTN：缩放、裁剪、转 Tensor、归一化
test_transform = transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(224),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406], 
                                         std=[0.229, 0.224, 0.225])
                                    ])

##载入一张测试图像
from PIL import Image

img_path = 'test_img/watermelon1.jpg'
# img_path = 'test_img/banana1.jpg'
# img_path = 'test_img/test_bananan.jpg'
# img_path = 'test_img/test_orange.jpg'
# img_path = 'test_img/test_orange_2.jpg'
# img_path = 'test_img/test_kiwi.jpg'
# img_path = 'test_img/test_lemon.jpg'
# img_path = 'test_img/test_石榴.jpg'
# img_path = 'test_img/test_火龙果.jpg'

img_pil = Image.open(img_path)

print(np.array(img_pil).shape)

print(img_pil)
(820, 1094, 3)

 

##预处理、前向预测
input_img = test_transform(img_pil) # 预处理

print(input_img.shape)
torch.Size([3, 224, 224])
# 执行前向预测，得到所有类别的 logit 预测分数
pred_logits = model(input_img) 

print(pred_logits)
tensor([[ -5.1486, -11.8118,  -7.9891, -10.0370,  -5.4247,  -7.4008,  -8.1522,
,         -10.7661,  -1.9462, -11.9815, -12.0666, -11.8537,  -6.2334,  -6.1782,
,         -12.5307,  -9.7271,  -4.6836, -10.8603,  -3.7738,  -8.2216,  -7.1518,
,          -9.5671,  -8.5957,  -9.0904, -10.0835,   6.3705,  -7.8391, -11.1643,
,          -8.9451,  -4.1679]], device='cuda:0', grad_fn=<AddmmBackward0>)
pred_softmax = F.softmax(pred_logits, dim=1) # 对 logit 分数做 softmax 运算

print(pred_softmax)
tensor([[9.9344e-06, 1.2687e-08, 5.8015e-07, 7.4839e-08, 7.5375e-06, 1.0448e-06,
,         4.9283e-07, 3.6098e-08, 2.4431e-04, 1.0706e-08, 9.8337e-09, 1.2167e-08,
,         3.3574e-06, 3.5482e-06, 6.1824e-09, 1.0203e-07, 1.5816e-05, 3.2855e-08,
,         3.9284e-05, 4.5978e-07, 1.3401e-06, 1.1973e-07, 3.1629e-07, 1.9285e-07,
,         7.1439e-08, 9.9964e-01, 6.7400e-07, 2.4242e-08, 2.2303e-07, 2.6489e-05]],
,       device='cuda:0', grad_fn=<SoftmaxBackward0>)
plt.figure(figsize=(22, 10))

x = idx_to_labels.values()
y = pred_softmax.cpu().detach().numpy()[0] * 100
width = 0.45 # 柱状图宽度

ax = plt.bar(x, y, width)

plt.bar_label(ax, fmt='%.2f', fontsize=15) # 置信度数值
plt.tick_params(labelsize=20) # 设置坐标文字大小

plt.title(img_path, fontsize=30)
plt.xticks(rotation=45) # 横轴文字旋转
plt.xlabel('类别', fontsize=20)
plt.ylabel('置信度', fontsize=20)
plt.show()

##置信度最大的前n个结果
n = 10
top_n = torch.topk(pred_softmax, n) # 取置信度最大的 n 个结果
pred_ids = top_n[1].cpu().detach().numpy().squeeze() # 解析出类别
confs = top_n[0].cpu().detach().numpy().squeeze() # 解析出置信度

print(pred_ids)
array([25,  8, 18, 29, 16,  0,  4, 13, 12, 20])
print(confs)
array([9.9964380e-01, 2.4431286e-04, 3.9284085e-05, 2.6489437e-05,
,       1.5815574e-05, 9.9343542e-06, 7.5374746e-06, 3.5482481e-06,
,       3.3574311e-06, 1.3401393e-06], dtype=float32)
##图像分类结果写在原图上
draw = ImageDraw.Draw(img_pil)

for i in range(n):
    class_name = idx_to_labels[pred_ids[i]] # 获取类别名称
    confidence = confs[i] * 100 # 获取置信度
    text = '{:<15} {:>.4f}'.format(class_name, confidence)
    print(text)
    
    # 文字坐标，中文字符串，字体，rgba颜色
    draw.text((50, 100 + 50 * i), text, font=font, fill=(255, 0, 0, 1))

print(img_pil)
西瓜              99.9644

椰子              0.0244

苹果-红            0.0039

黄瓜              0.0026

芒果              0.0016

哈密瓜             0.0010

柚子              0.0008

砂糖橘             0.0004

石榴              0.0003

草莓              0.0001

fig = plt.figure(figsize=(18,6))

# 绘制左图-预测图
ax1 = plt.subplot(1,2,1)
ax1.imshow(img_pil)
ax1.axis('off')

# 绘制右图-柱状图
ax2 = plt.subplot(1,2,2)
x = idx_to_labels.values()
y = pred_softmax.cpu().detach().numpy()[0] * 100
ax2.bar(x, y, alpha=0.5, width=0.3, color='yellow', edgecolor='red', lw=3)
plt.bar_label(ax, fmt='%.2f', fontsize=10) # 置信度数值

plt.title('{} 图像分类预测结果'.format(img_path), fontsize=30)
plt.xlabel('类别', fontsize=20)
plt.ylabel('置信度', fontsize=20)
plt.ylim([0, 110]) # y轴取值范围
ax2.tick_params(labelsize=16) # 坐标文字大小
plt.xticks(rotation=90) # 横轴文字旋转

plt.tight_layout()
fig.savefig('output/预测图+柱状图.jpg')

 

 

##预测结果表格输出
pred_df = pd.DataFrame() # 预测结果表格
for i in range(n):
    class_name = idx_to_labels[pred_ids[i]] # 获取类别名称
    label_idx = int(pred_ids[i]) # 获取类别号
    confidence = confs[i] * 100 # 获取置信度
    pred_df = pred_df.append({'Class':class_name, 'Class_ID':label_idx, 'Confidence(%)':confidence}, ignore_index=True) # 预测结果表格添加一行
display(pred_df) # 展示预测结果表格

 

ClassClass_IDConfidence(%)
0西瓜25.099.964380
1椰子8.00.024431
2苹果-红18.00.003928
3黄瓜29.00.002649
4芒果16.00.001582
5哈密瓜0.00.000993
6柚子4.00.000754
7砂糖橘13.00.000355
8石榴12.00.000336
9草莓20.00.000134

【C】预测视频文件-中文

使用训练好的图像分类模型，对视频文件进行逐帧预测。

##设置matplotlib中文字体
# Linux操作系统，例如 云GPU平台：https://featurize.cn/?s=d7ce99f842414bfcaea5662a97581bd1
# 如果遇到 SSL 相关报错，重新运行本代码块即可
!wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/SimHei.ttf -O /environment/miniconda3/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/SimHei.ttf
!rm -rf /home/featurize/.cache/matplotlib

import matplotlib
matplotlib.rc("font",family='SimHei') # 中文字体

##导入pillow中文字体
from PIL import Image, ImageFont, ImageDraw
# 导入中文字体，指定字号
font = ImageFont.truetype('SimHei.ttf', 32)

##导入工具包
import os
import time
import shutil
import tempfile
from tqdm import tqdm

import cv2
from PIL import Image

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['axes.unicode_minus']=False  # 用来正常显示负号
plt.rcParams['font.sans-serif']=['SimHei']  # 用来正常显示中文标签
import gc

import torch
import torch.nn.functional as F
from torchvision import models

import mmcv

# 有 GPU 就用 GPU，没有就用 CPU
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
print('device:', device)

# 后端绘图，不显示，只保存
import matplotlib
matplotlib.use('Agg')

##载入类别
idx_to_labels = np.load('idx_to_labels.npy', allow_pickle=True).item()

##导入训练好的模型
model = torch.load('checkpoints/fruit30_pytorch_20220814.pth')
model = model.eval().to(device)

##图像预处理
from torchvision import transforms

# 测试集图像预处理-RCTN：缩放裁剪、转 Tensor、归一化
test_transform = transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(224),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406], 
                                         std=[0.229, 0.224, 0.225])
                                    ])

##图像分类预测函数(同上个教程)
def pred_single_frame(img, n=5):
    '''
    输入摄像头画面bgr-array，输出前n个图像分类预测结果的图像bgr-array
    '''
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # BGR 转 RGB
    img_pil = Image.fromarray(img_rgb) # array 转 pil
    input_img = test_transform(img_pil).unsqueeze(0).to(device) # 预处理
    pred_logits = model(input_img) # 执行前向预测，得到所有类别的 logit 预测分数
    pred_softmax = F.softmax(pred_logits, dim=1) # 对 logit 分数做 softmax 运算
    
    top_n = torch.topk(pred_softmax, n) # 取置信度最大的 n 个结果
    pred_ids = top_n[1].cpu().detach().numpy().squeeze() # 解析出类别
    confs = top_n[0].cpu().detach().numpy().squeeze() # 解析出置信度
    
    # 在图像上写字
    draw = ImageDraw.Draw(img_pil)
    # 在图像上写字
    for i in range(len(confs)):
        pred_class = idx_to_labels[pred_ids[i]]
        text = '{:<15} {:>.3f}'.format(pred_class, confs[i])
        # 文字坐标，中文字符串，字体，rgba颜色
        draw.text((50, 100 + 50 * i), text, font=font, fill=(255, 0, 0, 1))
        
    img_bgr = cv2.cvtColor(np.array(img_pil), cv2.COLOR_RGB2BGR) # RGB转BGR
        
    return img_bgr, pred_softmax

##视频预测
##输入输出视频路径
input_video = 'test_img/fruits_video.mp4'

##可视化方案一:原始图像＋预测结果文字
# 创建临时文件夹，存放每帧结果
temp_out_dir = time.strftime('%Y%m%d%H%M%S')
os.mkdir(temp_out_dir)
print('创建临时文件夹 {} 用于存放每帧预测结果'.format(temp_out_dir))

# 读入待预测视频
imgs = mmcv.VideoReader(input_video)

prog_bar = mmcv.ProgressBar(len(imgs))

# 对视频逐帧处理
for frame_id, img in enumerate(imgs):
    
    ## 处理单帧画面
    img, pred_softmax = pred_single_frame(img, n=5)

    # 将处理后的该帧画面图像文件，保存至 /tmp 目录下
    cv2.imwrite(f'{temp_out_dir}/{frame_id:06d}.jpg', img)
    
    prog_bar.update() # 更新进度条

# 把每一帧串成视频文件
mmcv.frames2video(temp_out_dir, 'output/output_pred.mp4', fps=imgs.fps, fourcc='mp4v')

shutil.rmtree(temp_out_dir) # 删除存放每帧画面的临时文件夹
print('删除临时文件夹', temp_out_dir)

##可视化方案二:原始图像＋预测结果文字+各类别置信度柱状图
def pred_single_frame_bar(img):
    '''
    输入pred_single_frame函数输出的bgr-array，加柱状图，保存
    '''
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # BGR 转 RGB
    fig = plt.figure(figsize=(18,6))
    # 绘制左图-视频图
    ax1 = plt.subplot(1,2,1)
    ax1.imshow(img)
    ax1.axis('off')
    # 绘制右图-柱状图
    ax2 = plt.subplot(1,2,2)
    x = idx_to_labels.values()
    y = pred_softmax.cpu().detach().numpy()[0] * 100
    ax2.bar(x, y, alpha=0.5, width=0.3, color='yellow', edgecolor='red', lw=3)
    plt.xlabel('类别', fontsize=20)
    plt.ylabel('置信度', fontsize=20)
    ax2.tick_params(labelsize=16) # 坐标文字大小
    plt.ylim([0, 100]) # y轴取值范围
    plt.xlabel('类别',fontsize=25)
    plt.ylabel('置信度',fontsize=25)
    plt.title('图像分类预测结果', fontsize=30)
    plt.xticks(rotation=90) # 横轴文字旋转
    
    plt.tight_layout()
    fig.savefig(f'{temp_out_dir}/{frame_id:06d}.jpg')
    # 释放内存
    fig.clf()
    plt.close()
    gc.collect()

# 创建临时文件夹，存放每帧结果
temp_out_dir = time.strftime('%Y%m%d%H%M%S')
os.mkdir(temp_out_dir)
print('创建临时文件夹 {} 用于存放每帧预测结果'.format(temp_out_dir))

# 读入待预测视频
imgs = mmcv.VideoReader(input_video)

prog_bar = mmcv.ProgressBar(len(imgs))

# 对视频逐帧处理
for frame_id, img in enumerate(imgs):
    
    ## 处理单帧画面
    img, pred_softmax = pred_single_frame(img, n=5)
    img = pred_single_frame_bar(img)
    
    prog_bar.update() # 更新进度条

# 把每一帧串成视频文件
mmcv.frames2video(temp_out_dir, 'output/output_bar.mp4', fps=imgs.fps, fourcc='mp4v')

shutil.rmtree(temp_out_dir) # 删除存放每帧画面的临时文件夹
print('删除临时文件夹', temp_out_dir)

【D】预测摄像头实时画面-中文

本代码需在连接摄像头的本地运行，不能在云GPU平台运行。

##导入工具包
import os

import numpy as np
import pandas as pd

import cv2 # opencv-python
from PIL import Image, ImageFont, ImageDraw
from tqdm import tqdm # 进度条

import matplotlib.pyplot as plt
%matplotlib inline

import torch
import torch.nn.functional as F
from torchvision import models

# 有 GPU 就用 GPU，没有就用 CPU
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
print('device:', device)

##导入中文字体
# 下载中文字体文件
# !wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20220716-mmclassification/dataset/SimHei.ttf

# 导入中文字体，指定字号
font = ImageFont.truetype('SimHei.ttf', 32)

##载入类别
idx_to_labels = np.load('idx_to_labels.npy', allow_pickle=True).item()

print(idx_to_labels)
{0: '哈密瓜',
, 1: '圣女果',
, 2: '山竹',
, 3: '杨梅',
, 4: '柚子',
, 5: '柠檬',
, 6: '桂圆',
, 7: '梨',
, 8: '椰子',
, 9: '榴莲',
, 10: '火龙果',
, 11: '猕猴桃',
, 12: '石榴',
, 13: '砂糖橘',
, 14: '胡萝卜',
, 15: '脐橙',
, 16: '芒果',
, 17: '苦瓜',
, 18: '苹果-红',
, 19: '苹果-青',
, 20: '草莓',
, 21: '荔枝',
, 22: '菠萝',
, 23: '葡萄-白',
, 24: '葡萄-红',
, 25: '西瓜',
, 26: '西红柿',
, 27: '车厘子',
, 28: '香蕉',
, 29: '黄瓜'}

导入训练好的模型那有问题

##导入训练好的模型
model = torch.load('checkpoints/fruit30_pytorch_20220814.pth', map_location=torch.device('cpu'))
model = model.eval().to(device)

##图像预处理
from torchvision import transforms

# 测试集图像预处理-RCTN：缩放裁剪、转 Tensor、归一化
test_transform = transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(224),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406], 
                                         std=[0.229, 0.224, 0.225])
                                    ])

##获取摄像头的一帧画面
# 导入opencv-python
import cv2
import time

# 获取摄像头，传入0表示获取系统默认摄像头
cap = cv2.VideoCapture(1)

# 打开cap
cap.open(0)

time.sleep(1)

success, img_bgr = cap.read()
    
# 关闭摄像头
cap.release()

# 关闭图像窗口
cv2.destroyAllWindows()

print(img_bgr.shape)

img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) # BGR转RGB

img_pil = Image.fromarray(img_rgb)

print(img_pil)

 摄像头照片

input_img = test_transform(img_pil).unsqueeze(0).to(device) # 预处理
pred_logits = model(input_img) # 执行前向预测，得到所有类别的 logit 预测分数
pred_softmax = F.softmax(pred_logits, dim=1) # 对 logit 分数做 softmax 运算

n = 5
top_n = torch.topk(pred_softmax, n) # 取置信度最大的 n 个结果
pred_ids = top_n[1].cpu().detach().numpy().squeeze() # 解析出类别
confs = top_n[0].cpu().detach().numpy().squeeze() # 解析出置信度

draw = ImageDraw.Draw(img_pil) 
# 在图像上写字
for i in range(len(confs)):
    pred_class = idx_to_labels[pred_ids[i]]
    text = '{:<15} {:>.3f}'.format(pred_class, confs[i])
    # 文字坐标，中文字符串，字体，rgba颜色
    draw.text((50, 100 + 50 * i), text, font=font, fill=(255, 0, 0, 1))
img = np.array(img_pil) # PIL 转 array

plt.imshow(img)
plt.show()

  摄像头照片

##处理单帧画面的函数（中文)
# 处理帧函数
def process_frame(img):
    
    # 记录该帧开始处理的时间
    start_time = time.time()
    
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # BGR转RGB
    img_pil = Image.fromarray(img_rgb) # array 转 PIL
    input_img = test_transform(img_pil).unsqueeze(0).to(device) # 预处理
    pred_logits = model(input_img) # 执行前向预测，得到所有类别的 logit 预测分数
    pred_softmax = F.softmax(pred_logits, dim=1) # 对 logit 分数做 softmax 运算
    
    top_n = torch.topk(pred_softmax, 5) # 取置信度最大的 n 个结果
    pred_ids = top_n[1].cpu().detach().numpy().squeeze() # 解析预测类别
    confs = top_n[0].cpu().detach().numpy().squeeze() # 解析置信度
    
    # 使用PIL绘制中文
    draw = ImageDraw.Draw(img_pil) 
    # 在图像上写字
    for i in range(len(confs)):
        pred_class = idx_to_labels[pred_ids[i]]
        text = '{:<15} {:>.3f}'.format(pred_class, confs[i])
        # 文字坐标，中文字符串，字体，bgra颜色
        draw.text((50, 100 + 50 * i),  text, font=font, fill=(255, 0, 0, 1))
    img = np.array(img_pil) # PIL 转 array
    img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR) # RGB转BGR
    
    # 记录该帧处理完毕的时间
    end_time = time.time()
    # 计算每秒处理图像帧数FPS
    FPS = 1/(end_time - start_time)  
    # 图片，添加的文字，左上角坐标，字体，字体大小，颜色，线宽，线型
    img = cv2.putText(img, 'FPS  '+str(int(FPS)), (50, 80), cv2.FONT_HERSHEY_SIMPLEX, 2, (255, 0, 255), 4, cv2.LINE_AA)
    return img

##调用摄像头获取每帧（模板)
# 调用摄像头逐帧实时处理模板
# 不需修改任何代码，只需修改process_frame函数即可
# 同济子豪兄 2021-7-8

# 导入opencv-python
import cv2
import time

# 获取摄像头，传入0表示获取系统默认摄像头
cap = cv2.VideoCapture(1)

# 打开cap
cap.open(0)

# 无限循环，直到break被触发
while cap.isOpened():
    # 获取画面
    success, frame = cap.read()
    if not success:
        print('Error')
        break
    
    ## !!!处理帧函数
    frame = process_frame(frame)
    
    # 展示处理后的三通道图像
    cv2.imshow('my_window',frame)

    if cv2.waitKey(1) in [ord('q'),27]: # 按键盘上的q或esc退出（在英文输入法下）
        break
    
# 关闭摄像头
cap.release()

# 关闭图像窗口
cv2.destroyAllWindows()

总结：使用上一讲Pytorch迁移学习训练得到的30类水果图像分类模型，对新图像文件、新视频文件、摄像头实时画面，运行图像分类预测。

pink_storm
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
毕业设计-使用pytorch实现的人脸表情识别项目-项目实战-项目源码-优质项目.zip
01-17
在这个项目中，我们将探讨如何利用PyTorch来处理图像识别任务，特别是针对人脸表情这一特定的应用场景。 首先，我们要理解人脸表情识别的基本流程。通常，这包括以下几个步骤：人脸检测、特征提取、表情分类。在...
Transformers预测未来：关注下一帧和时间序列预测
zzh1464501547的博客
10-29 4930
Transformers预测未来：关注下一帧和时间序列预测 关注人工智能学术前沿 回复 ：ts35 5秒免费获取论文pdf文档，及项目源码 摘要 直到最近，递归神经网络还是捕获时序相关性的最佳方法之一。然而，随着Transformer的引入，已经证明了只有注意机制而没有任何RNN的体系结构可以改进各种序列处理任务(例如NLP)的结果。此后的多项研究表明，类似的方法可以应用于图像、点云、视频、音频或时间序列预测。此外，诸如Perceiver或 Informer等解决方案已经被引入，以扩
又一任务被Transformer攻陷！NVIDIA开源HORST，用Transformer解决早期动作识别和动作预期任务...
我爱计算机视觉
01-24 2956
关注公众号，发现CV技术之美本文分享论文『Higher Order Recurrent Space-Time Transformer for Video Action Prediction...
[Pytorch图像分类全流程实战]Task02:预训练模型预测
m0_59286668的博客
01-19 701
并不适合直接用来学习Pytorch，主要面向于Pytorch的运用，视频中基本上就是将流程过一遍，讲的没有想象中那么细，可能是因为自己毕竟也有蛮多东西是本身就不懂的，然后预训练的方面也很全，图片、视频、实时画面都照顾到了，还有英文与中文的问题，总的来说还是干货满满的
视频分类数据训练与预测的加载方式探索
yuguolong_001的博客
09-15 268
视频分类领域的数据加载方法，视频加载与编解码
FPS
积累点滴，保持自我
05-05 636
fps有两种意思： 1.在计算机图像领域中，“FPS”是词组“Frames Per Second”的缩写。“Frames Per Second”在计算机图像范畴内被翻译为：“每秒传输帧数”。更确切的解释，就是“每秒中填充图像的帧数(帧/秒)“。这里的“FPS”就是我们常在CS游戏里说的“FPS”值，也可以理解为我们常说的“刷新率(Hz)”。我们在装机选购显卡和显示器的时候，都会注意到“刷新率
车牌识别-基于Pytorch实现的MTCNN+LPRNet两阶段轻量级高性能车牌识别算法-附项目源码-优质项目实战.zip
最新发布
05-28
该模型通常由卷积神经网络（CNN）组成，用于提取图像特征，接着通过全连接层对特征进行分类，以识别出车牌上的每个字符。LPRNet的特点在于其对字符的分割和识别能力，能够在单个网络中同时完成这两个任务，从而提高...
人脸交换-实现在两张照片之间交换人脸-faceSwap-附项目源码+流程教程-优质项目实战.zip
05-14
常用的人脸检测算法有Haar级联分类器、Dlib的HOG特征检测以及基于深度学习的MTCNN（Multi-task Cascaded Convolutional Networks）等。这些方法可以精准地找出图片中的人脸区域，为后续的面部特征提取提供基础。 接...
PyTorch下，基于CNN的口罩检测code+python
05-10
在这个项目中，我们使用CNN对人脸图像进行特征提取，然后通过分类器判断这个人是否戴了口罩。CNN是一种非常强大的图像处理工具，其通过多层卷积和池化操作，能够自动学习到图像中的关键特征。对于口罩检测任务，CNN...
Emoji_Match:ESSEC机器学习课程的人脸检测和情感分类项目
03-28
在“Emoji_Match”项目中，可能会用到OpenCV用于人脸检测，TensorFlow或PyTorch用于深度学习模型的构建和训练，PIL（Python Imaging Library）处理图像，以及Numpy和Pandas进行数据预处理和分析。 4. **数据集准备*...
(202301)pytorch图像分类全流程实战Task2:预训练模型预测
raw_inputhello的博客
01-19 681
但是我的本身与ImageNet的数据差别过大了，是无法准确识别的。不过倒是可以判断出一些零件像什么。另外自己训练了一个权重，置信度很高，几乎达到了100.
Pytorch加载模型并进行图像分类预测
无穷酱的博客
10-20 9431
1. 整体流程 1）实例化模型 Assume that the content ofYourClass.pyis: class YourClass: # ...... If you use: from YourClassParentDir import YourClass # means YourClass from model import PythonNet net= PythonNet(T=16).eval().cuda() 2）加载模型 import ...
图片2分类卷积神经网络模型训练、分类预测案例全过程（1）
John的博客
08-13 1924
图片2分类卷积神经网络模型训练、分类预测案例全过程（1） 前言 （1）尽管目前有关卷积神经网络深度学习的相关材料较多，但深度学习牵涉到数据预处理、模型构建、模型调用等环节，我也是一个初学者，中间有很多问题都是查阅好多资料才得以解决，我在这里会尽量的详细写清楚关键环节，供和我一样的初学者参考。超过2分类的多分类操作流程基本一样。 （2）这里我不提供深度学习的最基础原理，都是从实际操作中出发，能够上手应用。 （3）主要内容包括：数据预处理（包括tfrecord格式数据生成与读取喂给网络）、模型搭建及相关参..
用pytorch进行图像分类预测
Hiuyisha的博客
01-19 949
通过pytorch中现有的数据分类模型，调用pytorch中现有的模型进行图片，视频，摄像头实时画面的预测分类。
pytorch-预训练图像分类模型预测
weixin_44419977的博客
01-19 1343
pytorch-预训练图像分类模型预测 学习中遇到的问题汇总。
pytorch进阶学习（八）：使用训练好的神经网络模型进行图片预测
热门推荐
CV在读
04-14 1万+
课程资源： 【小学生都会的Pytorch】九、运用你的模型做预测（1）_哔哩哔哩_bilibili 笔记：https://blog.csdn.net/weixin_45662399/category_12040625.html?spm=1001.2014.3001.5482 目录一、原理介绍1. 加载模型与参数2. 读取图片3. 图片预处理4. 把图片转换为tensor5. 增加batch_size的维度6. 模型验证6.1 模型的初步输出 6.2 输出预测值概率最大的值和位置 6.3 把tensor转为
图像分类超详细的pytorch实现
LJC的博客
08-21 9044
1、定义各种参数 下面举例三种常见的参数 batch_size = 8 learning_rate = 1e-4 epoches = 100 2、利用官方的数据加载 指定训练、验证以及测试的文件夹的路径，其下一个目录的各个文件夹视为各个类别。下一个目录为了方便简单可以直接命名为0、1、2等。到时就可以对应0、1、2等类别。也可以按本身类别作为文件名，可能需要调试注意一下对应的类别0、1、2等。如： 0、1、2文件夹里放置对应类别的图像即可。主要调用的是torchvision.dataset
（202301）pytorch图像分类全流程实战Task4：新图片新视频预测
raw_inputhello的博客
01-26 582
然后使用PIL库读取图片，并进行预处理。预处理的四步是缩放、裁剪、转 Tensor、归一化，此处不再赘述。此外还需要读取映射字典。 注意：在gpu中训练得到的权重文件不能直接用于cpu，需要通过加入参数map_location='cpu'进行映射，如右下图所示。
图分类预测
KaikebaAI的博客
01-20 980
原创：梁华雄 导入 ​ 图级别的预测可以完成对整个图属性的预测，比如在生化预测任务中，可以实现对某个分子是否产生变异进行预判。在非欧几里得的数据结构中，如社交网络（facebook），生物网络（基因，分子），基础设施网络（能源，交通，互联网，通信）具有重要的意义。 1. 原理 整图预测是针对图层面的学习任务，比如判断某药物分子是否具有某种理化性质，再比如判断某社团是否具有欺诈可能，这需要我们对整个图提取它的特征表示，然后再基于此构建我们的学习任务，图的整体特征无外乎来源于三部分：1）节点特征；2）边特征；3
图像识别pytorch
08-22
最后，我们可以使用训练好的模型对新的图像进行预测。可以使用torchvision.transforms模块中的函数对输入图像进行与训练数据相同的预处理操作，然后将图像输入到训练好的模型中，获得对应的预测结果。 总结起来，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值