RV1126_python人脸识别Retinaface+MobilefaceNet

已于 2023-04-24 15:18:14 修改
阅读量3.5k 收藏 27
点赞数 2
分类专栏： 人工智能 RKNN 文章标签： python 深度学习 caffe Powered by 金山文档
于 2023-03-09 16:39:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guolele2010/article/details/129425479
版权

RV1126_python人脸识别Retinaface+MobilefaceNet

RV1126 具备RKNN 模块支持大部分如Pytorch、MXNet、Caffe、tensorflow、keras、onnx等常见框架，而且量化部署使用RKNN-toolkit非常方便。以下介绍通过RV1126实现的人脸识别过程。

首先人脸识别需要先做人脸检测>>人脸校正/活体检测(选做)>>人脸特征提取>>数据库进行欧式距离比对。

人脸检测基于Insightface一个开源的人脸识别的开源项目

https://github.com/deepinsight/insightface.git

是基于 MXNet 框架实现的业界主流人脸识别解决方案，包含了数据集制作教程、训练和验证脚本、预训练模型以及和MXNet模型的转换工具。

目前由于考虑RV1126上的RKNN性能不算太强，而目前backbone使用mobilenet的人脸检测准确度也很高，所以retinaface与人脸特征提取都使用mobileface.

本次项目使用的是Retinaface、mobilefaceNet。

由于考虑到还需要移植到海思的NNIE平台，有需要转换成Caffe，而MXNet的mobilefaceNet转换到Caffe最后转换到wk会很麻烦（有些转换层不支持）。而MXNet对Windows支持不好，特别是我使用的RTX30系列的显卡，搭建工程训练就很麻烦。我测试是使用ubuntu 20.04训练这个MXNet。一般要移植到NNIE很多转换出来的模型海思提供Caffe算子不支持，要涉及到修改网络，所以使用了pytorch的项目。

还有个原因，新版本的insightface代码，我在ubuntu，MXNet上训练失败，使用Res50网络训练正常，所以也弃用insightface的代码，使用pytorch版本的。

Pytorch需要转换成onnx再到RV1126上运行，一般项目都会带这个选项。ONNX是通用模型描述标准。

也是为了针对NNIE，一般我还会转换到Caffe，这个再另起一个文章。

Pytorch环境（RTX3060TI_WIN10）：

onnx                1.13.1
onnxruntime         1.14.0
onnxsim             0.4.17
torch               1.10.1+cu113
torchvision         0.11.2+cu113

先讲一下原理性的，不看可以跳到后面

Insightface 里的Retinaface原理分析与网络输出结果处理

在目标检测中:

  • Anchor是一种在图像中生成固定大小和长宽比的框，用于在特征图上采样，以便检测不同尺度和长宽比的目标。

  • Feature map是卷积神经网络的输出，是一个高维特征空间，其中每个位置表示原始图像中一定大小区域的特征。

  • Proposal是指在特征图上使用预定义的anchor或者候选区域生成的一组潜在的物体边界框，用于表示可能包含目标的区域，这些提议将被送入目标分类和边界框回归网络进行分类和位置调整。

上图是insightface版本的

RetinaFace在使用MobileNet作为backbone时，对于每个特征层都定义了不同的anchor。

简化版的RetinaFace在特征金字塔上有3个检测分支，分别对应3个stride： 32， 16和8。在stride32上一个feature map对应的原图的32X32的感受野，可以用来检测较大的区域人脸，同理stride16和stride8可用于中等和较小人脸区域的检测。默认设置为每个stride对应一个ratio，每个ratio对应两个scale，即每个stride对应的feature map的每个位置会在原图上生成两个anchor box。当anchor大于设置threshold时，就会认为是一个Proposal,再经过NMS就可以输出

所以针对640x640输入，stride32这层feature_map对应的anchor就有20x20x2=800，其他类推

至于输出，或者是为什么是这样排列是这些东西，是网络输出结果在跟训练时的标签里的值做损失函数决定的，不断训练到代表这样的意思

Head：

经上述特征提取操作获得 、S3、S4、S5 三个有效特征层，接下来需要通过这三个有效特征层来获得预测结果，每一层都有loc,landmarks,bbox。

retinaface的预测结果分为三个：分类预测、人脸框预测、人脸关键点预测；

（1）分类预测（face or not）

用于判断先验框内部是否包含物体（二分类），Retinaface官方使用的是softmax进行判断（也可以利用一个1x1的卷积，将SSH的通道数调整成num_anchors x 2，用于代表每个先验框内部包含人脸的概率，pytorch_retinaface用此方法做了一些后处理，使得结果处理更简单）。Ncwh, 1,2*2,w,h，每个值都是对应anchor的一个概率。两个值应该是一个是分类，一个是概率

（2）人脸框的回归(bbox)

用于对先验框进行调整从而获得预测框，需要四个参数，前两个用于对先验框的中心进行调整，后两个用于对先验框的宽高进行调整(可以利用一个1x1的卷积，将SSH的通道数调整成num_anchors x 4，用于代表每个先验框的调整参数)，Ncwh, 1,2*4,w,h，每个anchor(共w x h)有4个值，分别对应相对于中心点的左上与右下的归一化相对坐标.实际这个blob输出比较大的，只要了前面的。

（3）人脸关键点的回归（landmarks）

用于对先验框进行调整，从而获得人脸关键点坐标，需要十个参数，每一个人脸关键点需要两个调整参数，对先验框中心的x、y轴进行调整获得关键点坐标，一共有五个人脸关键点（可以利用一个1x1的卷积，将SSH的通道数调整成num_anchors x 10（num_anchors x 5 x 2），用于代表每个先验框的每个人脸关键点的调整）. Ncwh, 1,2*10,w,h，实际这个输出比较大的，只要了前面的。

若网络输入尺寸为 3∗640∗640 ，经上述处理后得到： S3、S4、S5 的分别为： (80,80,64) ， (40,40,64) ， (20,20,64) 。这几个是特征层feature_map

了解这些是为了理解MXNet的后处理，如果从神经网络的forward结果中提取出人脸的检测框，关键点。

海思的NNIE我使用的是原版的预训练模型

https://github.com/deepinsight/insightface/issues/669

如果是不想进行训练，也可以直接拿来用，但需要知道如何后处理。

Retinaface_c++可以协助分析一下如何处理insightface里的结果

具体参考Cpp工程https://github.com/Charrin/RetinaFace-Cpp

feature_map后再做一个卷积与softmax ,后，每个stride都有3个输出，分别是cls,landmark,bbox。具体处理时是caffe分别从Stride32 16 8拿到相应 的bbox(预测框),cls(分类概率),landmark(特征点位置)，分别过滤Stride32 16 8的预检测(anchor)概率阈值，然后写到Proposal中。经过【Head】完成调整、判断之后，还需要进行非极大值抑制（即筛选出一定区域内属于同一种类得分最大的框）。

关于pytorch_retinaface里用了prmute操作来实现transpose，把输出结果ncwh转换成nwhc，再做后面处理。MXNet版本是输出ncwh来处理的，Retinaface_c++也是处理ncwh，所以具体部署时要注意。

在Pytorch_retinaface代码中，网络的输出结果，针对640x640，最后输出，cls：[1，16800，2]。(20*20+40*40+80*80)*2=16800，为3个feature_map对应anchor的数量，2是每个feature_map块对应的anchor的数量。使用了torch的view强制转换成二维

[1,80,80,4]>>[1,6400,4]

[1,6400,4] [1,1600,4] [1,400,4] 使用torch.cat>> [1,16800,4] 最后一维4是achor0_class,achor0_score,achor1_class,achor1_score

所以上层使用时就

scores = conf.squeeze(0).data.cpu().numpy()[:,1]就只拿了最后一维score的

landmark,bbox其他也类推。因为后期我使用的是python在RV1126在线部署，方便调试，使用的是retinaface_pytorch的后处理代码。

训练的标签格式如下

Insightface的Retinaface实际海思上跑的网络输出

使用的是MXNet ncwh输出，这里的caffe模型输出应该是

Cls_8
Land_8
Bbox_8
Cls_16
Land_16
Bbox_16
Cls_32
Land_32
Bbox_32

具体在转换模型时还得调整顺序才能编过，具体输出又对应，搞不清楚

判断nwhc

给这个是为了如果你选择使用MXNet要知道如何处理，不然后面RV1126上运行时结果就不对。

具体参考Cpp工程https://github.com/Charrin/RetinaFace-Cpp

人脸检测完后，就需要进行人脸识别。

InsightFace提供了一个ARCFace网络，有MXNetpytorch等实现。

MobilefaceNet，

就是backbone使用mobilenet，将人脸特征提取成128维特征值

在进行训练或者评估的时候，需要下载数据集，原始的在。

https://github.com/deepinsight/insightface/tree/master/recognition/_datasets_

但有很多下载下来需要授权，刚好有一个开源的公开了这份训练数据集

https://github.com/TreB1eN/InsightFace_Pytorch

下载下来的是使用bcolz压缩了的，需要解码，

Unzip faces_emore.zip

mv faces_emore data/

pip install bcolz==1.2.1

安装时遇到些问题

2 -DSHUFFLE_AVX2_ENABLED -mavx2

c-blosc/blosc/shuffle.c:170:1:error: conflicting types for ‘_xgetbv’

export DISABLE_BCOLZ_AVX2=true

pip install bcolz==1.2.1

使用开源工程里的python prepare_data.py解压出来。

解压后，很大很大，所以想测试训练的话，过程很慢，需要好几天才训练完，所以使用一部分数据集会比较快看到效果

实际使用开源项目训练

后来由于MXNet训练需要在Ubuntu上，我比较习惯windows的环境，所以就使用了pytorch。

默认安装了windows的pytorch环境，不懂自己去下载。

Retinaface人脸检测

Retinaface

https://github.com/biubug6/Pytorch_Retinaface

按ReadMe来操作训练即可训练出

训练与测试集

已经训练好的facenet_mobilenet.pth和facenet_inception_resnetv1.pth可以在百度网盘下载。

链接: https://pan.baidu.com/s/1K20hyxU_UgSej1eZWih0Ag 提取码:anv6

训练用的CASIA-WebFaces数据集以及评估用的LFW数据集可以在百度网盘下载。

链接: https://pan.baidu.com/s/1qMxFR8H_ih0xmY-rKgRejw 提取码: bcrq

训练出来修改detect.py来检测模型

运行test_widerface.py来测试测试数据集，前提是需要使用

python label2imglist.py

import os
import argparse

parser = argparse.ArgumentParser(description='Retinaface')
parser.add_argument('--dataset_folder', default='./data/widerface/val/images/', type=str, help='dataset path')
args = parser.parse_args()

if __name__ == '__main__':
    # testing dataset
    testset_folder = args.dataset_folder
    testset_list = args.dataset_folder[:-7] + "label.txt"

    with open(testset_list, 'r') as fr:
        test_dataset = fr.read().split()
        num_images = len(test_dataset)

        for i, img_name in enumerate(test_dataset):
            print("line i :{}".format(i))
            if img_name.endswith('.jpg'):
                print(" img_name :{}".format(img_name))
                f = open(args.dataset_folder[:-7] + 'wider_val.txt', 'a')
                f.write(img_name+'\n')
                f.close()

来通过label.txt生成没带标签只带图片路径的

python test_widerface.py --trained_model weight_file --network mobile0.25

跑完后，可以进入widerface_evaluate，跑

cd ./widerface_evaluate
python setup.py build_ext --inplace
python evaluation.py

即可输出测试集的精度，基本与项目的结果一致

首先使用Pytorch_retinaface项目中的convert_to_onnx.py

但需要增加优化，将一些indetyfy层去掉，其实是进行simplify，也可以运行命令行，不然转换会有问题

    # loadyour predefined ONNX model
    nx_model = onnx.load(output_onnx)
    
    #convert model
    model_simp, check = simplify(nx_model)
    assert check, "Simplified ONNX model could not be validated"
    onnx.save(model_simp,"retinaface.onnx")

转换时会提示scipy里的numpy typeDic没这接口

需要升级 一下

pip install --user --upgrade scipy --proxy=https://127.0.0.1:1090

MobilefaceNet特征提取

为了方便训练，使用了另一个pytorch的实现

https://github.com/bubbliiiing/facenet-pytorch

由于mobilefaceNet训练数据集很大，时间很长，具体按项目说明即可，主要是下载数据集训练，大力出奇迹。

直接先看项目结果，就使用预训练模型。

最主要是确定输入预处理是什么，格式是BGR还是RGB

输入预处理，MXNet的mobilefacenet模型，使用的是means=127.5,127.5,127.5 std_values=128,128,128,即先减127.5再除以128.这个在ONNX模型里是有个minus_scalar以及mul_scalar，参数就是127.5 128.BGR输入的。.

MXNet的Mobilefacenet模型

facenet-pytorch看python源码使用的是RGB输入，mean=0,0,0 std_valus=255,255,255。配置需要根据训练时模型代码来决定。

RV1126上运行

好，终上所述，最后得到两个onnx模型。正面开始运行在RV1126上

首先需要先搭建好RKNN-toolkit环境，如何搭建参考SDK文档，还需要更新RV1126的驱动

我使用的版本是

D RKNNAPI:==============================================

D RKNNAPI: RKNN VERSION:

D RKNNAPI: API: 1.7.3 (0cfd4a1 build: 2022-08-15 17:20:38)

D RKNNAPI: DRV: 1.7.3 (c4ea832 build: 2022-08-13 09:29:29)

D RKNNAPI:==============================================

使能NTB模式。在RV1126版本终端里（ssh或者串口登录）

cat /etc/init.d/.usb_config

usb_adb_en

usb_ntb_en

exportLD_LIBRARY_PATH="/usr/lib32/:$LD_LIBRARY_PATH"

重启rknn_server.sh

这样PC才能找到设备

(rknn) C:\Users\deep>python -mrknn.bin.list_devices

*************************

all device(s) with ntb mode:

d81352278dd4de31

*************************

需要用（RKNN-TOOLKIT里的）rknpu_full_driver，这样才能PC通过USB连接调试

rv1126驱动为 galcore_puma.ko

一开始能找到ntb设备，run_init就报错 RKNN_ERR_DEVICE_UNAVAILABLE

原因是NTB的驱动没安装好，使用

D:\depplearning\rknn-toolkit\platform-tools\drivers_installer\windows-x86_64\zadig-2.4.exe

安装。安装好后即可

注意：不用CUDA转换才能量化正常，之前使用CUDA量化，一直不正常，搞了很久很久。。。

代码在github上，良心贡献！

https://github.com/guolele1990/rknn_FaceRecognization.git

分别是

Retinaface.onnx (pytorch_retinaface)

Mobilefacenet.onnx (facenet_pytorch)

Retinaface量化

pythonRetinafaceConvertTest.py

注意修改模型路径，以及输入输出层 代码中使用的是 ret =rknn.load_onnx(model='./weights/retinaface.onnx', inputs='input0',input_size_list=[[3,640,640]], outputs=['output0','590','589']) 输入输出层可以使用netron查看，基本output0 590 589要分别对应loc, conf, landms。错了运行会报错

把不量化直接运行的结果判断一下，简单先判断是否人脸检测正常。

BUILD_QUANT= False

NEED_BUILD_MODEL= True

量化结果会打印每层的量化精度，再判断是否人脸检测正常

BUILD_QUANT= True

NEED_BUILD_MODEL= True

MobilefaceNet量化

修改

cfg= cfg_facenet_mxnet

选择对应的模型配置

把不量化直接运行的结果判断一下，结果与pytorch工程里的输出对比

BUILD_QUANT= False NEED_BUILD_MODEL = True 量化结果会打印每层的量化精度，结果与pytorch工程里的输出对比 BUILD_QUANT = True NEED_BUILD_MODEL = True

测试： 先编码

pythonencoding.py

图片预测：

pythonpredict.py

rtsp预测：

pythonrtspPredict.py

这里的mobilefaceNet的量化，一开始使用默认的方式，精度损失比较厉害，虽然能用，但检测效果不是很好，所以就直接使用

quantized_dtype='dynamic_fixed_point-i16'

这样出现基本与不量化前的模型一致。

针对量化与不量化的差异对比，我使用了

FaceRecognition.py里的一个配置来切换，这样可以比较方便的调试

最后结果：

guolele2010
关注
  • 2
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
在RV1126上实现人脸识别----facenet转成rknn模型
cumtchw
03-23 5424
1.模型下载 首先需要下载facenet的模型，github下载网址为：https://github.com/davidsandberg/facenet Pre-trained models Model name LFW accuracy Training dataset Architecture 20180408-102900 0.9905 CASIA-WebFace Inception ResNet v1 20180402-114759 0.996
基于RKNN的深度神经网络模型设计建议1
08-03
1. 卷积核设置 2. 融合结构设计 3. 关于 2D 卷积和 Depthwise 卷积的使用 4. 网络稀疏化
RK3568笔记二十五：RetinaFace人脸检测训练部署
最新发布
05-20 1366
Retinaface是来自insightFace的又一力作，基于one-stage的人脸检测网络。RetinaFace是在RetinaNet基础上引申出来的人脸检测框架，所以大致结构和RetinaNet非常像。官方提供两种主干特征提取网络：MobilenetV1-0.25和Resnet，本文以MobilenetV1-0.25为模型部署训练。目前 RetinaFace 可称得上是目前最强的开源人脸检测算法。
在瑞芯微3588上实现人脸识别---retinaface模型转rknn
htzckk的博客
07-20 4905
在瑞芯微3588上实现人脸识别---retinaface模型转rknn
RV1126笔记五：人脸识别方案＜三＞
12-23 1078
注册人脸信息及数据库使用
Rockchip_RV1126_RV1109_Quick_Start_Linux_CN.pdf
04-27
RockChip RV1126、RV1109 编译手册中文版
RV1126_EVB_usb调试接口使用方法.docx
06-30
RV1126_EVB_usb调试接口使用方法 RV1126_EVB_usb调试接口使用方法是RV1126开发板的一种调试接口，通过Micro USB接口连接到PC机，使用CH340G USB转串口芯片，支持Windows和Linux操作系统。 一、 物理接口 RV1126 ...
Rockchip_RV1126_RV1109_Hardware_Design_Guide_V11_20200624_CN.pdf
04-21
RV1126/RV1109硬件设计指南
RV1126 基于虹软人脸识别算法实现的示例使用教程
09-12
RV1126 基于虹软人脸识别算法实现的示例使用教程
RV1126_EVB_usb调试接口使用方法.pdf
01-29
关于RV1126/RV1109 问得最多的，整理成文档呈现给各位~
Rockchip RV1126 模型部署（完整部署流程）
DAOCHI
03-16 9697
YOLO-V5在RV1126部署全流程（环境配置，模型转换，C++模型推理，芯片运行），验证有效。
rv1126部署模型模版（以手写数字识别模型为例）
warren103098的博客
08-08 683
rv1126移植并部署自写MNIST模型，可以作为算法移植的参考模版
在RV1126上实现人脸识别----MobileFaceNet转成rknn模型
cumtchw
03-23 2563
目录 1.模型下载 2 转成rknn模型并推理 3 查看网络模型 1.模型下载 首先下载MobileFaceNet的模型，github下载地址为：https://github.com/sirius-ai/MobileFaceNet_TF/tree/master/arch/pretrained_model/ 2 转成rknn模型并推理 import numpy as np import cv2 from rknn.api import RKNN if __name__ == '__..
rv1109/1126 rknn 模型部署过程
Awesome Computer Vision, 做计算机视觉的程序员
08-01 2675
rv1109/1126是瑞芯微出的嵌入式AI芯片，带有npu, 可以用于嵌入式人工智能应用。算法工程师训练出的算法要部署到芯片上，需要经过模型转换和量化，下面记录一下整个过程。
【详细记录】rv1126 跑通 yolov5
weixin_45824067的博客
08-02 2763
在前面，已经将 onnx模型转为 rknn模型。这里探讨的是：rknn模型在rv1126开发板上运行。
【人脸识别】FaceNet（二）
筱
04-23 5152
源码：https://github.com/davidsandberg/facenet 步骤： 1、配置环境（安装opencv） 所需的python模块 Clone the FaceNet repo： git clone https://github.com/davidsandberg/facenet.git 2、下载训练好的网络模型 facenet提供了两个预训练模型，分别是基...
PC端 Rockchip RKNN-Toolkit 连接 Rockchip NPU 设备
flyfish
08-30 2438
flyfish
rp-rv1126（烧录ubuntu系统+通信+使用python）
Jormungand123的博客
04-20 7112
记录一下最近的小突破。 思路记录： 起因是因为我想偷鸡，我的pc上有一个调用摄像头做目标检测的python程序，然后我看这个程序整个文件夹的大小对于rp-rv1126的内存完全够用。 所以我就想能不能直接在板子上用这个python程序，一开始我的思路是用pyinstaller，理论上是可以的，我看输出的可执行程序的格式和官方给的rknn的demo一样，但奇怪的是就是无法运行，一直报/bin/sh: xxx not found的错误。后来我听一个人说他直接用python跑的程序，说他安装了python。
%AR（1）预测 % 计算AR(1)模型参数 RV_diff = diff(RV_real); X_ar = RV_real(2:end)'; Y_ar = RV_real(1:end-1)'; beta = 0.8; c = 0; RV_real_pred = zeros(1,N+1); RV_real_uub = zeros(1,N+1); RV_real_llb = zeros(1,N+1); RV_real_pred(1) = RV_real(1); RV_real_uub(1) = RV_real(1); RV_real_llb(1) = RV_real(1); for i = 1:N RV_real_pred(i+1) = c + beta*RV_real(i); RV_real_uub(i+1) = RV_real_pred(i+1) + z_alpha*sqrt(var(RV_diff))*sqrt(1+beta^2); RV_real_llb(i+1) = RV_real_pred(i+1) - z_alpha*sqrt(var(RV_diff))*sqrt(1+beta^2); end % 绘制图形 t = 0:dt:T; hold on; plot(t,max(0,RV_real_pred),'k:'); plot(t,max(0,RV_real_uub),'r--',t,max(0,RV_real_llb),'r--'); 改成python代码
07-17
import numpy as np import matplotlib.pyplot as plt # Compute AR(1) model parameters RV_diff = np.diff(RV_real) X_ar = RV_real[1:] Y_ar = RV_real[:-1] beta = 0.8 c = 0 N = len(RV_real) - 1 RV_real_pred = np.zeros(N+1) RV_real_uub = np.zeros(N+1) RV_real_llb = np.zeros(N+1) RV_real_pred[0] = RV_real[0] RV_real_uub[0] = RV_real[0] RV_real_llb[0] = RV_real[0] for i in range(N): RV_real_pred[i+1] = c + beta*RV_real[i] RV_real_uub[i+1] = RV_real_pred[i+1] + z_alpha*np.sqrt(np.var(RV_diff))*np.sqrt(1+beta**2) RV_real_llb[i+1] = RV_real_pred[i+1] - z_alpha*np.sqrt(np.var(RV_diff))*np.sqrt(1+beta**2) # Plot the graph t = np.arange(0, T, dt) plt.plot(t, np.maximum(0, RV_real_pred), 'k:') plt.plot(t, np.maximum(0, RV_real_uub), 'r--', t, np.maximum(0, RV_real_llb), 'r--') plt.xlabel('Time') plt.ylabel('RV') plt.legend(['Predicted', 'Upper Bound', 'Lower Bound']) plt.show()

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值