利用Mediapipe和DGL实现火影结印识别与追踪---特殊手势识别

目录

1.DGl概述

2.DGL安装

3.DGL实操

4.图卷积神经网络模块

5.模型（转载于恩培大佬）

---

还记得曾经日思夜想也要追番的火影吗？

曾经的招式还可以依稀回忆起来吗？

今天我们来用图卷积神经网络GCN+DGL+Mediapipe的方式实现火影结印识别！！！

听起来是不是特别有意思呢？？

先看一段演示视频：

利用Mediapipe和DGL实现特殊手势识别---【火影结印识别】

雀氏有点意思！！！！！

接下来咱们细细道来！！！

首先从DGL说起·······

1.DGl概述

Deep Graph Library (DGL) 是一个在图上做深度学习的框架。在0.3.1版本中，DGL支持了基于PyTorch的化学模型库。

官方网址：

Welcome to Deep Graph Library Tutorials and Documentation — DGL 0.7.2 documentation

官方文档里边实现了目前常见的图神经网络模型，直接搭积木一样构造网络，然后构造好数据就可以了。

2.DGL安装

pip install dgl

3.DGL实操

3.1用DGL构造图

import dgl
import numpy as np
​
def build_karate_club_graph():
    # All 78 edges are stored in two numpy arrays. One for source endpoints
    # while the other for destination endpoints.
    src = np.array([1, 2, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 7, 7, 7, 8, 8, 9, 10, 10,
        10, 11, 12, 12, 13, 13, 13, 13, 16, 16, 17, 17, 19, 19, 21, 21,
        25, 25, 27, 27, 27, 28, 29, 29, 30, 30, 31, 31, 31, 31, 32, 32,
        32, 32, 32, 32, 32, 32, 32, 32, 32, 33, 33, 33, 33, 33, 33, 33,
        33, 33, 33, 33, 33, 33, 33, 33, 33, 33])
    dst = np.array([0, 0, 1, 0, 1, 2, 0, 0, 0, 4, 5, 0, 1, 2, 3, 0, 2, 2, 0, 4,
        5, 0, 0, 3, 0, 1, 2, 3, 5, 6, 0, 1, 0, 1, 0, 1, 23, 24, 2, 23,
        24, 2, 23, 26, 1, 8, 0, 24, 25, 28, 2, 8, 14, 15, 18, 20, 22, 23,
        29, 30, 31, 8, 9, 13, 14, 15, 18, 19, 20, 22, 23, 26, 27, 28, 29, 30,
        31, 32])
    # Edges are directional in DGL; Make them bi-directional.
    u = np.concatenate([src, dst])
    print(u)
    v = np.concatenate([dst, src])
    # Construct a DGLGraph
    return dgl.DGLGraph((u, v))
​
G = build_karate_club_graph()
print('We have %d nodes.' % G.number_of_nodes())
print('We have %d edges.' % G.number_of_edges())
​

可以看出dgl.DGLGraph((u,v))中，u为头节点，v为尾节点。DGL的边是有向边，但这里社交链接关系是双向的，所以既需要头节点指向尾节点的边，也需要尾节点指向头节点的边，于是将节点间的链接关系拆分为头节点和尾节点，分别存储在两个数组（src和dst），然后再按两种顺序拼接起来，让u前半部分是头节点，后半部分是尾节点，v则相反，以此实现双向的边。

3.2利用matplotlib库实现可视化

除了matplotlib库之外，还是用了networkx工具，因为先让刚才用DGLGraph构建的图转为networkx格式的无向图，然后使用nx.draw()画图。（注意：当要显示图还需要plt.show()）

import networkx as nx
import matplotlib.pyplot as plt
# Since the actual graph is undirected, we convert it for visualization
# purpose.
nx_G = G.to_networkx().to_undirected()
# Kamada-Kawaii layout usually looks pretty for arbitrary graphs
pos = nx.kamada_kawai_layout(nx_G)
​
nx.draw(nx_G, pos, with_labels=True, node_color=[[.7, .7, .7]])
plt.show()

​

这里的’nx.kamada_kawai_layout’为布局设置，即画风。还有以下几种可选择：

circular_layout：节点在一个圆环上均匀分布
random_layout：节点随机分布
shell_layout：节点在同心圆上分布
spring_layout： 用Fruchterman-Reingold算法排列节点（样子类似多中心放射状）
spectral_layout：根据图的拉普拉斯特征向量排列节点

4.图卷积神经网络模块

class GCN(nn.Module):
    def __init__(self, in_feats, h_feats, num_classes):
        super(GCN, self).__init__()
        self.conv1 = GraphConv(in_feats, h_feats)
        self.conv2 = GraphConv(h_feats, num_classes)
​
    def forward(self, g, in_feat):
        h = self.conv1(g, in_feat)
        h = F.relu(h)
        h = self.conv2(g, h)
        g.ndata['h'] = h
        return dgl.mean_nodes(g, 'h')
​
5.实现的主干代码（部分转载恩培大佬）
​
import sys
import os
import os.path as osp
import numpy as np
import cv2
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision.transforms as transforms
from torch.nn.parallel.data_parallel import DataParallel
import torch.backends.cudnn as cudnn
import json
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d im