mjpeg视频传输和人脸识别

最近在学习树莓派，想做一个人脸识别，并且把视频传输上去，想来想去想到一个方案，用mjpeg视频传输，传输上去在PC端用opencv进行人脸识别。
mjpeg：
mjpeg是由一系列连续的JPEG图片组成的视频流，因此是非帧间编码器，同时，由于是非帧间编码，需要算力比较小，所以比较适合嵌入式平台，缺点需要的网络带宽比较大，仅支持视频流。
安装mjpeg

pi@raspberrypi:~ $ sudo apt-get install cmake libjpeg8-dev
pi@raspberrypi:~ $ git clone https://e.coding.net/fivecc/mjpg-streamer/mjpg-streamer.git
pi@raspberrypi:~ $ cd mjpg-*
pi@raspberrypi:~/mjpg-streamer-master $ cd mjpg-*
pi@raspberrypi:~/mjpg-streamer-master/mjpg-streamer-experimental $ make
pi@raspberrypi:~/mjpg-streamer-master/mjpg-streamer-experimental $ sudo make install 
pi@raspberrypi:~/mjpg-streamer-master/mjpg-streamer-experimental $ cd 
pi@raspberrypi:~ $

一步一步执行即可。
2.启动mjpeg
命令框直接输入

pi@raspberrypi: ~ $ /usr/local/bin/mjpg_streamer -i "/usr/local/lib/mjpg-streamer/input_uvc.so -n -f 30 -r 1280x720" -o "/usr/local/lib/mjpg-streamer/output_http.so -p 8080 -w /usr/local/share/mjpg-streamer/www"

4.服务端搭建
如果只接收视频可以直接浏览器打开

http://<树莓派ip>:/javascript.html

本次人脸视频采用的是opencv-python,安装过程不在叙述，可以百度一下python和opencv-python版安装，

首先解析视频流，使用如下代码

url = "http://192.168.43.98:8080/?action=stream"
rtmp_url= "rtmp://58.200.131.2:1935/livetv/hunantv"

上面的URL是使用mjpeg的网络视频流地址，使用时，把IP地址改成自己的地址，下面的RTMP地址本次亲测可以这样用，后面可以改成RTMP推流，
使用RTMP应该延时会更小。

后面就是和普通人脸识别代码一样，下面直接贴上所有代码

import cv2

# 导入人脸级联分类器，'.xml'文件里包含训练出来的人脸特征
face_engine = cv2.CascadeClassifier(
    r'C:\Users\123\Desktop\haarcascade_frontalface_default.xml')
url = "http://192.168.43.98:8080/?action=stream"
rtmp_url= "rtmp://58.200.131.2:1935/livetv/hunantv"
# 打开网络摄像头
cap = cv2.VideoCapture(url)
# cap = cv2.VideoCapture(0)
def face_filter(faces):
    if len(faces) == 0:
        return None
    # 目前找的是画面中面积最大的人脸
    max_face = max(faces, key=lambda face: face[2] * face[3])
    (x, y, w, h) = max_face
    if w < 10 or h < 10:
        return None
    return max_face
# 创建可以调节大小的窗口
cv2.namedWindow("video", 0)
while (1):
    # 读取一帧,如果有剩余帧ret为ture,否则为false
    # ret, frame = cap.read()
    ret, frame = cap.read()
    # print(ret, frame)
    faces = face_engine.detectMultiScale(frame, 1.1, 10)
    img = cv2.resize(frame, (0, 0), fx=1, fy=1)

    if(len(faces)):
        face=face_filter(faces)
        (x,y,w,h)= face
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)
        print(x,y)

    # 实时展示效果画面
    cv2.imshow('frame2', img)
    # 每5毫秒监听一次键盘动作
    if cv2.waitKey(5) & 0xFF == ord('a'):  # 当按下“a”键时退出人脸检测
        break
cap.release()
cv2.destroyAllWindows()