Python flask 视频流返回问题 & RTSP断流问题解决

Python flask 视频流返回问题 & RTSP断流问题解决

参考【项目心得 の 二】在开发时如果有具体想法需提前和前端沟通，寻求方便的解决方案

1、视频流返回结果用GET，不要POST

今天与康哥对接接口时，发现一个问题：前端（Vue）使用POST接口上传文件到后台（flask），我在后台处理后返回一个视频帧给前端，但是这时的前端界面上不能正常显示图片，然后让康哥通过GET接口测在线视频，这个是可以正常显示的，主要原因是在线检测时接口用的是GET类型，并且是后台通过图片生成器来更新前端的image_url中的图片，是的前端的img src属性会根据后端链接的变化实现前端图片的更新；而POST请求只提交一次，不能获取实时的视频流。

'''舱门检测: 基于图片/视频二进制文件/网络摄像头地址'''
@manholeB.route('/predict_manhole', methods=['GET','POST'])
def predict_manhole():
    username = "wang"
    if(request.method == 'POST'):  #图片上传(type=0)，视频上传(type=1)
        type = int(request.form.get("type"))
        frame = frameDetect_handler.handle_frame_with_type(username,request,type,manhole_detector)
        return Response(frame, mimetype='multipart/x-mixed-replace; boundary=frame')
    else:  #网络摄像头路径(type=2)
        type = int(request.args.get("type"))
        status = int(request.args.get("status")) #是否开启摄像头
        frame = frameDetect_handler.handle_frame_with_type(username,request, type, manhole_detector)
        return Response(frame, mimetype='multipart/x-mixed-replace; boundary=frame')
        # return jsonify({'code': 400, 'msg': '操作失败：请使用post方法'})

这里的handler.handle_frame_with_type()返回的是视频每一帧的二进制图片。

    def handle_frame_with_type(self,username,request,type,detector, status=True):
        """
        @param username: 哪个用户执行该操作
        @param type: 要检测的类型，0:图片，1:视频，2:摄像头, 并向视图返回处理后的结果, type=int
        @param handler: 检测器，舱门检测器，烟雾检测器，人脸检测器
        @param status: 是否开启摄像头：false-关闭，true-打开
        @return:
        """
        #清空用户之前的操作
        self.container_map.clearUserCamera(username)
        if(type == self.types['image']):
            return self.handle_img(request,detector)
        elif(type == self.types['video']):
            return self.handle_video(request,username,detector)
        elif(type == self.types['webCamera']):
            return self.handle_camera(request,username,detector,status)

其中handle_video为：

   def handle_video(self,request,username, detector):
        print("hello_video")
        fileStorage = request.files['videofile']
        buffer_video = fileStorage.read()

        #将二进制视频流保存成文件之后再用opencv读取 参考https://stackoverflow.com/questions/57865656/save-video-in-python-from-bytes
        TEMP_VIDEO_OUTPUT = os.path.join(rootPath,'temp.mp4')
        if os.path.isfile(TEMP_VIDEO_OUTPUT):
            os.remove(TEMP_VIDEO_OUTPUT)
        with open(TEMP_VIDEO_OUTPUT, "wb") as out_file:  # open for [w]riting as [b]inary
            out_file.write(buffer_video)
        camera = cv2.VideoCapture(TEMP_VIDEO_OUTPUT)
        #注册camera到container_map中
        self.container_map.register(username,camera)
        frame = gen_frames(camera,detector)
        return frame

解决方法：

前端通过将上传的图片文件封装在formdata中，并通过POST接口想要得到后台的图片处理结果，由于img标签的src会随着get请求的更新而进行图片更新，所以分步解决：

• POST接口将上传的文件保存到本地，并向前台返回带本地文件路径（file_path) 的图片/视频处理的GET接口路由（由于前端浏览器缓存问题，相同的GET地址会优先读取浏览器缓存中的数据，因此需要在GET链接上加上时间戳！！！）。

      '''舱门检测: 基于图片/视频二进制文件/网络摄像头地址'''
    @manholeB.route('/predict_manhole', methods=['GET','POST'])
    def predict_manhole():
        username = "wang"
        if(request.method == 'POST'):  #图片上传(type=0)，视频上传(type=1)
            type = int(request.form.get("type"))
            file_path = temp_save_path
            file_path = frameDetect_handler.handle_frame_with_type(username,request,type,manhole_detector,
                                                                   file_path)  #完成图片、视频上传到本地
            timeStamp = str(time.mktime(time.localtime(time.time())))
            data = "http://" + ip + ":" + port + "/get_manhole_frame?type=" + str(type) + "&file_path=" + file_path + "&timeStamp=" + timeStamp  #返回文件访问路径
            return jsonify({'data': data})
        else:  #网络摄像头路径(type=2)
            type = int(request.args.get("type"))
            frame = frameDetect_handler.handle_frame_with_type(username,request, type, manhole_detector)
            return Response(frame, mimetype='multipart/x-mixed-replace; boundary=frame')
  

• GET接口会利用file_path参数，获取刚才前端上传的文件，通过图片生成器向前端返回图片。

  '''predict_manhole POST请求返回的路由，用于给前端发送二进制视频流'''
  @manholeB.route('/get_manhole_frame', methods=['GET'])
  def get_manhole_frame():
      username = "wang"
      file_path = request.args.get("file_path")
      type = int(request.args.get("type"))
      frame = frameDetect_handler.handle_frame_with_type(username, request, type, manhole_detector,
                                                             file_path)  # 完成图片、视频上传到本地
      return Response(frame, mimetype='multipart/x-mixed-replace; boundary=frame')
      # return jsonify({'finish' : True})  #已经检测完毕
  

handle_frame_with_type()通过判断接口是POST还是GET，如果是POST完成文件上传，如果是GET则完成指定文件的检测，代码修改如下：

    def handle_frame_with_type(self,username,request,type,detector,file_path):
        """
        @param username: 哪个用户执行该操作
        @param type: 要检测的类型，0:图片，1:视频，2:摄像头, 并向视图返回处理后的结果, type=int
        @param handler: 检测器，舱门检测器，烟雾检测器，人脸检测器
        @param file_path: frame写入的文件路径
        """
        #清空用户之前的操作
        self.container_map.clearUserCamera(username)
        if(type == self.types['image']):
            if(request.method == 'POST'):  #post请求进行文件上传操作
                return self.upload_img(request,file_path)
            elif (request.method == 'GET'):  # GET请求返回视频帧
                return self.handle_img(detector, file_path)

        elif(type == self.types['video']):
            if (request.method == 'POST'):  # post请求进行文件上传操作
                return self.upload_video(request,file_path)
            elif(request.method == 'GET'):  # GET请求返回视频帧
                return self.handle_video(username, detector, file_path)

        elif(type == self.types['webCamera']):
            return self.handle_camera(request,username,detector)

2、RTSP容易出现断流，可以设置定时器来重新创建连接

这里利用帧数求余（抽帧）来重新尝试创建连接

'''检测网络摄像头中的视频流'''
def gen_frames_with_webCamera(username, container_map, webCamera_url, detector, frameDraw=1):
    camera = cv2.VideoCapture(webCamera_url)
    frame_count = 0
    while True:
        frame_count += 1
        # 空转且设置较低容错，避免断流
        if(camera.isOpened() == False and (frame_count % frameDraw == 0)):
            if(container_map.getCamera_fromUser(username) != None):   #用户将camera置为空，则无需重新创建camera
                camera = cv2.VideoCapture(webCamera_url)
            else:
                break
        # 一帧帧循环读取摄像头的数据
        # 将读取视频帧的任务交给videoStream类来处理(决定是返回单帧frame，还是count帧frames)
        success, frame = camera.read()
        if success and (frame_count % frameDraw == 0):  # 抽帧处理
            container_map.register(username,camera)
            frame = cv2.resize(frame, (640, 480))
            frame = detector.detect(frame)
            # frame = cv2.resize(frame, (640, 480))
            # 将每一帧的数据进行编码压缩，存放在memory中
            ret, buffer = cv2.imencode('.jpg', frame)

            frame = buffer.tobytes()
            # 使用yield语句，将帧数据作为响应体返回，content-type为image/jpeg
            print("webCamera detected...")
            yield (b'--frame\r\n' +
                   b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n')
    camera.release()