JavaCV的摄像头实战之十四：口罩检测

2401_87389768

于 2024-09-28 08:31:06 发布

阅读量361

点赞数 2

文章标签： windows

本文链接：https://blog.csdn.net/2401_87389768/article/details/142610193

版权

Result result;

@Data

public static class Result {

// 人脸数量

@JsonProperty(“face_num”)

private int faceNum;

// 每个人脸的信息

@JsonProperty(“face_list”)

List faceList;

/**

@author willzhao
@version 1.0
@description 检测出来的人脸对象
@date 2022/1/1 16:03

@Data

public static class Face {

// 位置

Location location;

// 是人脸的置信度

@JsonProperty(“face_probability”)

double face_probability;

// 口罩

Mask mask;

/**

@author willzhao
@version 1.0
@description 人脸在图片中的位置
@date 2022/1/1 16:04

@Data

public static class Location {

double left;

double top;

double width;

double height;

double rotation;

}

/**

@author willzhao
@version 1.0
@description 口罩对象
@date 2022/1/1 16:11

@Data

public static class Mask {

int type;

double probability;

}

然后是服务类BaiduCloudService.java，把请求和响应百度AI开放平台的逻辑全部集中在这里，可见其实很简单：根据图片的base64字符串构造请求对象、发POST请求（path是人脸检测服务）、收到响应后用Jackson反序列化成FaceDetectResponse对象：

package com.bolingcavalry.grabpush.extend;

import com.bolingcavalry.grabpush.bean.request.FaceDetectRequest;

import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;

import com.fasterxml.jackson.databind.DeserializationFeature;

import com.fasterxml.jackson.databind.ObjectMapper;

import okhttp3.*;

import java.io.IOException;

/**

@author willzhao
@version 1.0
@description 百度云服务的调用
@date 2022/1/1 11:06

public class BaiduCloudService {

OkHttpClient client = new OkHttpClient();

static final MediaType JSON = MediaType.parse(“application/json; charset=utf-8”);

static final String URL_TEMPLATE = “https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s”;

String token;

ObjectMapper mapper = new ObjectMapper();

public BaiduCloudService(String token) {

this.token = token;

// 重要：反序列化的时候，字符的字段如果比类的字段多，下面这个设置可以确保反序列化成功

mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);

}

/**

检测指定的图片
@param imageBase64
@return

public FaceDetectResponse detect(String imageBase64) {

// 请求对象

FaceDetectRequest faceDetectRequest = new FaceDetectRequest();

faceDetectRequest.setImageType(“BASE64”);

faceDetectRequest.setFaceField(“mask”);

faceDetectRequest.setMaxFaceNum(6);

faceDetectRequest.setFaceType(“LIVE”);

faceDetectRequest.setLivenessControl(“NONE”);

faceDetectRequest.setFaceSortType(0);

faceDetectRequest.setImage(imageBase64);

FaceDetectResponse faceDetectResponse = null;

try {

// 用Jackson将请求对象序列化成字符串

String jsonContent = mapper.writeValueAsString(faceDetectRequest);

RequestBody requestBody = RequestBody.create(JSON, jsonContent);

Request request = new Request

.Builder()

.url(String.format(URL_TEMPLATE, token))

.post(requestBody)

.build();

Response response = client.newCall(request).execute();

String rawRlt = response.body().string();

faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);

} catch (IOException ioException) {

ioException.printStackTrace();

}

return faceDetectResponse;

}

服务类写完了，接下来是主程序把整个逻辑串起来

DetectService接口的实现

熟悉《JavaCV的摄像头实战》系列的读者应该对DetectService接口不陌生了，为了在整个系列的诸多实战中以统一的风格实现抓取帧–>处理帧–>输出处理结果这样的流程，咱们定义了一个DetectService接口，每种不同帧处理业务按照自己的特点来实现此接口即可（例如人脸检测、年龄检测、性别检测等）
先来回顾DetectService接口：

package com.bolingcavalry.grabpush.extend;

import org.bytedeco.javacv.Frame;

import org.bytedeco.javacv.OpenCVFrameConverter;

import org.bytedeco.opencv.opencv_core.*;

import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;

import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;

import static org.bytedeco.opencv.global.opencv_imgproc.*;

/**

@author willzhao
@version 1.0
@description 检测工具的通用接口
@date 2021/12/5 10:57

public interface DetectService {

/**

根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测
@param src 原始图片的MAT对象
@return 相同尺寸的灰度图片的MAT对象

static Mat buildGrayImage(Mat src) {

return new Mat(src.rows(), src.cols(), CV_8UC1);

}

/**

检测图片，将检测结果用矩形标注在原始图片上
@param classifier 分类器
@param converter Frame和mat的转换器
@param rawFrame 原始视频帧
@param grabbedImage 原始视频帧对应的mat
@param grayImage 存放灰度图片的mat
@return 标注了识别结果的视频帧

static Frame detect(CascadeClassifier classifier,

OpenCVFrameConverter.ToMat converter,

Frame rawFrame,

Mat grabbedImage,

Mat grayImage) {

// 当前图片转为灰度图片

cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

// 存放检测结果的容器

RectVector objects = new RectVector();

// 开始检测

classifier.detectMultiScale(grayImage, objects);

// 检测结果总数

long total = objects.size();

// 如果没有检测到结果，就用原始帧返回

if (total<1) {

return rawFrame;

}

// 如果有检测结果，就根据结果的数据构造矩形框，画在原图上

for (long i = 0; i < total; i++) {

Rect r = objects.get(i);

int x = r.x(), y = r.y(), w = r.width(), h = r.height();

rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);

}

// 释放检测结果资源

objects.close();

// 将标注过的图片转为帧，返回

return converter.convert(grabbedImage);

}

/**

初始化操作，例如模型下载
@throws Exception

void init() throws Exception;

/**

得到原始帧，做识别，添加框选
@param frame
@return

Frame convert(Frame frame);

/**

释放资源

void releaseOutputResource();

}

再来看看本次实战中DetectService接口的实现类BaiduCloudDetectService.java，有几处要注意的地方稍后会提到：

package com.bolingcavalry.grabpush.extend;

import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;

import lombok.extern.slf4j.Slf4j;

import org.bytedeco.javacpp.Loader;

import org.bytedeco.javacv.Frame;

import org.bytedeco.javacv.Java2DFrameConverter;

import org.bytedeco.javacv.OpenCVFrameConverter;

import org.bytedeco.opencv.opencv_core.Mat;

import org.bytedeco.opencv.opencv_core.Point;

import org.bytedeco.opencv.opencv_core.Rect;

import org.bytedeco.opencv.opencv_core.Scalar;

import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;

import org.opencv.face.Face;

import sun.misc.BASE64Encoder;

import javax.imageio.ImageIO;

import java.awt.image.BufferedImage;

import java.io.ByteArrayOutputStream;

import java.io.File;

import java.io.IOException;

import java.net.URL;

import java.util.List;

import static org.bytedeco.opencv.global.opencv_imgproc.*;

import static org.bytedeco.opencv.global.opencv_imgproc.CV_AA;

/**

@author willzhao
@version 1.0
@description 音频相关的服务
@date 2021/12/3 8:09

@Slf4j

public class BaiduCloudDetectService implements DetectService {

/**

每一帧原始图片的对象

private Mat grabbedImage = null;

/**

百度云的token

private String token;

/**

图片的base64字符串

private String base64Str;

/**

百度云服务

private BaiduCloudService baiduCloudService;

private OpenCVFrameConverter.ToMat openCVConverter = new OpenCVFrameConverter.ToMat();

private Java2DFrameConverter java2DConverter = new Java2DFrameConverter();

private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

private BASE64Encoder encoder = new BASE64Encoder();

/**

构造方法，在此指定模型文件的下载地址
@param token

public BaiduCloudDetectService(String token) {

this.token = token;

}

/**

百度云服务对象的初始化
@throws Exception

@Override

public void init() throws Exception {

baiduCloudService = new BaiduCloudService(token);

}

@Override

public Frame convert(Frame frame) {

// 将原始帧转成base64字符串

base64Str = frame2Base64(frame);

// 记录请求开始的时间

long startTime = System.currentTimeMillis();

// 交给百度云进行人脸和口罩检测

FaceDetectResponse faceDetectResponse = baiduCloudService.detect(base64Str);

// 如果检测失败，就提前返回了

if (null==faceDetectResponse

|| null==faceDetectResponse.getErrorCode()

|| !“0”.equals(faceDetectResponse.getErrorCode())) {

String desc = “”;

if (null!=faceDetectResponse) {

desc = String.format(“，错误码[%s]，错误信息[%s]”, faceDetectResponse.getErrorCode(), faceDetectResponse.getErrorMsg());

}

log.error(“检测人脸失败”, desc);

// 提前返回

return frame;

}

log.info(“检测耗时[{}]ms，结果：{}”, (System.currentTimeMillis()-startTime), faceDetectResponse);

// 如果拿不到检测结果，就返回原始帧

if (null==faceDetectResponse.getResult()

|| null==faceDetectResponse.getResult().getFaceList()) {

log.info(“未检测到人脸”);

return frame;

}

// 取出百度云的检测结果，后面会逐个处理

List<FaceDetectResponse.Result.Face> list = faceDetectResponse.getResult().getFaceList();

FaceDetectResponse.Result.Face face;

FaceDetectResponse.Result.Face.Location location;

String desc;

Scalar color;

int pos_x;

int pos_y;

// 如果有检测结果，就根据结果的数据构造矩形框，画在原图上

for (int i = 0; i < list.size(); i++) {

face = list.get(i);

// 每张人脸的位置

location = face.getLocation();

int x = (int)location.getLeft();

int y = (int)location.getHeight();

int w = (int)location.getWidth();

int h = (int)location.getHeight();

// 口罩字段的type等于1表示带口罩，0表示未带口罩

if (1==face.getMask().getType()) {

desc = “Mask”;

color = Scalar.GREEN;

} else {

desc = “No mask”;

color = Scalar.RED;

}

// 在图片上框出人脸

rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), color, 1, CV_AA, 0);

// 人脸标注的横坐标

pos_x = Math.max(x-10, 0);

// 人脸标注的纵坐标

pos_y = Math.max(y-10, 0);

// 给人脸做标注，标注是否佩戴口罩

putText(grabbedImage, desc, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, color);

}

// 将标注过的图片转为帧，返回

return converter.convert(grabbedImage);

}

/**

程序结束前，释放人脸识别的资源

@Override

public void releaseOutputResource() {

if (null!=grabbedImage) {

grabbedImage.release();

}

private String frame2Base64(Frame frame) {

grabbedImage = converter.convert(frame);

BufferedImage bufferedImage = java2DConverter.convert(openCVConverter.convert(grabbedImage));

ByteArrayOutputStream bStream = new ByteArrayOutputStream();

try {

ImageIO.write(bufferedImage, “png”, bStream);

} catch (IOException e) {

throw new RuntimeException(“bugImg读取失败:”+e.getMessage(),e);

}

return encoder.encode(bStream.toByteArray());

}

上述代码有以下几点要注意：

整个BaiduCloudDetectService类，主要是对前面BaiduCloudService类的使用
convert方法中，拿到frame实例后会转为base64字符串，用于提交到百度AI开放平台做人脸检测
百度AI开放平台的检测结果中有多个人脸检测结果，这里要逐个处理：取出每个人脸的位置，以此位置在原图画矩形框，然后根据是否戴口罩在人脸上做标记，戴口罩的是绿色标记（包括矩形框），不戴口罩的是红色矩形框

主程序

最后是主程序了，还是《JavaCV的摄像头实战》系列的套路，咱们来看看主程序的服务类定义好的框架
《JavaCV的摄像头实战之一：基础》创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：

在这里插入图片描述