'''
# 假设目标 检测张三有没有来 需要做的操作是将含有人的帧提取出来
# 这个demo是单视频分段处理,
# 多视频处理可以在基础上进行修改
# 进展—这两天主要工作:
熟悉scanner的编程框架以及数据流处理过程,了解对应操作的数据类型
下列代码基于scanner的相关提示方法编写
# 下一步计划:
还有部分逻辑没理顺,这部分代码还有部分问题需要修改
完成多视频并行处理的代码
'''
from scipy.io.matlab.streams import FileStream
import scannerpy as sp
import scannertools.imgproc
import scannertools.face_detection
import scannertools.vis
from sklearn.metrics.pairwise import cosine_similarity
def main():
# Scanner启动必须建立客户端连接
sc = sp.Client()
# 使用数据流图计算,将视频转换为input_stream流
input_stream = sp.NamedVideoStream(sc, 'camera_1', path='camera_1.mp4')
# 利用io操作将数据流读取为table,行为帧,列为帧类型(如mp4,h265类型)列表存储起来
input_frame = sc.io.Input([input_stream])
# 使用ops自带操作进行下采样压缩视频帧,并且按照视频一致性,进行步长3重建数据流 转换为stride_frame
# 假设一个30fps的10mins视频,有18000帧,处理后还有6000帧
resize_frame = sc.ops.Reszie(frame = input_frame, width = 640, height = 480)
stride_frame = sc.ops.Stride(frame = resize_frame, [3])
# 为了便于并行处理,可以将原视频帧分割,每3000帧一组
slice_partition = sc.streams.Slice(stride_frame, partitions=[(0,3000),(3001,6000)])
# 借助背景差分进行处理视频帧(检测目标)
mask_frame = sc.ops.BackgroundSubtraction(frame = slice_partition,
alpha = 0.02, threshold = 0.05,
bounded_state = 60)
# 聚合slice
unslice_frame = sc.streams.Unslice(mask_frame)
frame = sc.io.Input([unslice_frame])
# 建立输出流,并进行run计算,此时已经完成人脸检测
output_stream = sp.NamedVideoStream(sc, 'output_stream')
output_frame = sc.io.Output(unslice_frame, [output_stream])
sc.run(output_frame, sp.PerfParams.estimate())
# output_stream代表 所有需要检测的人的帧
# 读取目标帧
obj_frame = FileStream(sc, paths='image1.png')
obj_vector = DNN(obj_frame) # 调用现有模型即可
people_frames = output_stream.load() # 流类型 其实是用列表存储
# 获得包含face的帧
face_contain = []
for i in people_frames:
feature_vector = DNN(people_frames[i])
face_contain[i] = cosine_similarity(feature_vector, obj_vector)
if min(face_contain) < 0.005:
print("张三来学校了")
else:
print("张三没来")
# 最后删除创建的流
input_stream.delete(sc)
output_stream.delete(sc)
if __name__ == '__main__':
main()