基于paddlepaddle的社交距离检测
在新冠疫情危机中，减少人群的聚集是减少传播的重要措施之一。减少亲密接触，从而减少传染病的传播，那么保持安全的社交距离则显得尤为重要。
具体的实现步骤大致如下：
- 训练目标检测模型
- 用得到的模型检测视频流中的所有人
- 检测人与人之间的距离
（一）训练模型（paddleX）
模型的训练，这里是使用百度飞桨（paddlepaddle），使用使用PaddleX提供的PPYOLO模型，在VOC2012数据集进行训练；
什么是PaddleX：PaddleX是基于飞桨核心框架、开发套件和工具组件的深度学习全流程开发工具。具备 全流程打通 、融合产业实践 、易用易集成 三大特点（非常好用，吹爆）。具体怎么用，参考下面的链接
传送门.
首先当然是搭建我们的环境，这里因为可以白嫖百度飞桨的算力资源（GPU：Tesla V100，Video Mem:16GB,CPU: 4 Croes,RAM:32GB,Disk:100GB），所以是在AIStudio上的notebook（类似于Jupyter Notebook）进行的模型训练。这里使用的paddlex下的PPYOLO进行迁移学习训练模型，所以我们就不用搞那么复杂了，就不需要自己一层层的搭建网络了
至于代码，我就不一行行的解释了，上面官方链接里写的很清楚，这里仅附上我训练的代码
这是我在AIStudio训练该模型的项目传送门.
代码如下：
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import paddlex as pdx
from paddlex.det import transforms
# 定义训练和验证时的transforms
# API说明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html
train_transforms = transforms.Compose([
transforms.MixupImage(mixup_epoch=250), transforms.RandomDistort(),
transforms.RandomExpand(), transforms.RandomCrop(), transforms.Resize(
target_size=512, interp='RANDOM'), transforms.RandomHorizontalFlip(),
transforms.Normalize()
])
eval_transforms = transforms.Compose([
transforms.Resize(
target_size=512, interp='CUBIC'), transforms.Normalize()
])
# 定义训练和验证所用的数据集
# API说明：https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetection
train_dataset = pdx.datasets.VOCDetection(
data_dir='work/voc2012',
file_list='work/voc2012/train_list.txt',
label_list='work/voc2012/labels_list.txt',
transforms=train_transforms,
shuffle=True)
eval_dataset = pdx.datasets.VOCDetection(
data_dir='work/voc2012',
file_list='work/voc2012/val_list.txt',
label_list='work/voc2012/labels_list.txt',
transforms=eval_transforms)
# 初始化模型，并进行训练
# 可使用VisualDL查看训练指标，参考https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.html
num_classes = len(train_dataset.labels)
# API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3
model = pdx.det.PPYOLO(num_classes=num_classes)
# API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#train
# 各参数介绍与调整说明：https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html
model.train(
num_epochs=20,
train_dataset=train_dataset,
train_batch_size=4,
eval_dataset=eval_dataset,
learning_rate=0.00025,
lr_decay_epochs=[10, 15],
save_interval_epochs=4,
log_interval_steps=100,
save_dir='output/ppyolo',
pretrain_weights='IMAGENET',
use_vdl=True)
剩下的就是等待了，我是早上（2021-01-13 10:21:33）开始训练的，到下午（2021-01-13 14:46:20）就训练好了。因为我这里Epoch设置的小了点，还有一些训练参数设置的不够好，导致训练出的模型效果不是很好，时间有限，所以就没有继续优化了，所以下面使用的是飞桨已经训练好的YOLOv3-MobileNetV1模型进行图像的目标检测
PS：这里要说的是，其实在精度上，PPYOIO要比YOLOv3-MobileNetV1好，但因为我这里训练参数没有调好，所以训练出来模型效果不是很好（也不是一塌糊涂，但相比于飞桨已经训练好的YOLOv3-MobileNetV1），后面有时间的话，还会继续调参继续优化的。
（二）使用模型进行目标检测（YOLOv3-MobileNetV1）
这是我在AIStudio进行行人社交距离检测的项目链接传送门.
PS:在我AIStudio的项目下有一个work文件夹有不同的模型及权重参数，小伙伴们可以在pdx.load_model函数中指定文件位置即可
有啥看不懂的，就看上面我附上的paddlex的说明文档就明白了
import paddlex as pdx
model = pdx.load_model('yolov3_mobilenetv1_coco')
result = model.predict('3.jpg')
pdx.det.visualize('3.jpg', result, threshold=0.3, save_dir='./')
这里是模型的权重参数：传送门.
提取码：wj2g（可自取）
实现大致效果如下：
上面代码中result返回值是列表类型，列表中每个元素均为一个dict，key包括’bbox’, ‘category’, ‘category_id’, ‘score’，分别表示每个预测目标的框坐标信息、类别、类别id、置信度，其中框坐标信息为[xmin, ymin, w, h]，即左上角x, y坐标和框的宽和高。
所以下面我们要做的就是对预测结果进行筛选，只提取和人相关的即可，然后就是，将每个矩形框的中心设置为每个人的中心，以每个人的中心为圆心，矩形框高度的一半为半径。当两个人中心之间的距离小于两个人之间的半径距离之和时，即认为两个人之间的距离小于安全的社交距离，然后用红色的矩形框将两人框起来，并且用蓝色的线条将两人连接，如果某人与任何人的距离都大于安全的社交距离，则用绿色框将其框住。然后在图像下方显示图像中的总人数和小于安全距离的总人数
代码如下：
import paddlex as pdx
import cv2
from scipy.spatial import distance
test_jpg = '3.jpg'
model = pdx.load_model('yolov3_mobilenetv1_coco')
# predict接口并未过滤低置信度识别结果，用户根据需求按score值进行过滤
result = model.predict(test_jpg)
def bounding_box(outs):#筛选目标为人和提取坐标的函数
boxes = []
for out in outs:
class_id=out['category_id']
if class_id == 0:
# 0 is ID of persons
confidence = out['score']
if confidence > 0.35:
x = int(out['bbox'][0])
y = int(out['bbox'][1])
w = int(out['bbox'][2])
h = int(out['bbox'][3])
boxes.append([x, y, w, h])
return boxes
boxes=bounding_box(result)
frame=cv2.imread('3.jpg')
circles = []
for i in range(len(boxes)):#生成圆心和半径
x, y = int(boxes[i][0]), int(boxes[i][1])
w, h = int(boxes[i][2]), int(boxes[i][3])
frame = cv2.circle(frame, ( x + w // 2,y + h // 2), 5, (255, 20, 200), -1)
circles.append([x + w // 2, y + h // 2, h/2])#这里用人的高度做距离的检测半径
indexes = []
for i in range(len(circles)):#计算人与人之间的距离，并将距离小于安全距离的坐标索引进行保存
x1, y1, r1 = circles[i]
for j in range(i + 1, len(circles)):
x2, y2, r2 = circles[j]
if distance.euclidean((x1,y1),(x2,y2))<(r1+r2):
indexes.append(i)
indexes.append(j)
cv2.line(frame, (x1, y1), (x2, y2), (255, 0, 0), 2)
num=0
for (i, (x, y, w,h)) in enumerate(boxes):
if i in indexes:
num=num+1
color=(0,0,255)#安全距离之外的，为红色
color=(0,255,0)#安全距离之外的，为绿色
cv2.rectangle(frame, (x, y), (x+w, y+h), color, 2)
cv2.rectangle(frame, (0, frame.shape[0] - 50), (frame.shape[1], frame.shape[0]), (0, 255, 0), -1)
cv2.putText(frame,"Total Persons : " + str(len(boxes)),(0, frame.shape[0]-10 ),
fontFace=cv2.QT_FONT_NORMAL,fontScale=1,color=(0, 0, 0))
cv2.putText(frame,"Alarm : " + str(num),(frame.shape[1]//2, frame.shape[0]-10),
fontFace=cv2.QT_FONT_NORMAL,fontScale=1,color=(0,0,255))
cv2.imwrite('frame.jpg',frame)
效果如下：
下面是对视频流的处理
方法与图片的类似，这里引入了moviepy库，对图像进行处理，至于怎么使用，可自行baidu，这里就不解释了，下面是一个写的比较好的，小伙伴们，可以看看
传送门.
视频流处理的代码：
import cv2
import paddlex as pdx
from scipy.spatial import distance
from moviepy.editor import VideoFileClip
model = pdx.load_model('yolov3_mobilenetv1_coco')
# predict接口并未过滤低置信度识别结果，用户根据需求按score值进行过滤
def bounding_box(outs):
boxes = []
for out in outs:
class_id = out['category_id']
if class_id == 0:
# 0 is ID of persons
confidence = out['score']
if confidence > 0.35:
w = int(out['bbox'][2])
h = int(out['bbox'][3])
x = int(out['bbox'][0])
y = int(out['bbox'][1])
boxes.append([x, y, w, h])
return boxes
def op(frame):
result = model.predict(frame)
boxes = bounding_box(result)
circles = []
for i in range(len(boxes)):
x, y = int(boxes[i][0]), int(boxes[i][1])
w, h = int(boxes[i][2]), int(boxes[i][3])
frame = cv2.circle(frame, (x + w // 2, y + h // 2), 5, (255, 201, 201), -1)
circles.append([x + w // 2, y + h // 2, h / 2]) # 这里用人的高度做距离的检测半径
indexes = []
for i in range(len(circles)):
x1, y1, r1 = circles[i]
for j in range(i + 1, len(circles)):
x2, y2, r2 = circles[j]
if distance.euclidean((x1, y1), (x2, y2)) < (r1 + r2):
indexes.append(i)
indexes.append(j)
cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2)
num = 0
for (i, (x, y, w,h)) in enumerate(boxes):
if i in indexes:
num = num + 1
color = (255, 0, 0)
else:
color = (0, 255, 0)
cv2.rectangle(frame, (x, y), (x+w, y+h), color, 2)
cv2.rectangle(frame, (0, frame.shape[0] - 50), (frame.shape[1], frame.shape[0]), (0, 255, 0), -1)
cv2.putText(frame, "Total Persons : " + str(len(boxes)), (0, frame.shape[0] - 10),
fontFace=cv2.QT_FONT_NORMAL, fontScale=1, color=(0, 0, 0))
cv2.putText(frame, "Warning : " + str(num), (frame.shape[1] // 2, frame.shape[0] - 10),
fontFace=cv2.QT_FONT_NORMAL, fontScale=1, color=(0, 0, 255))
return frame
clip=VideoFileClip('1.mp4')
out_put=clip.fl_image(op)
out_put.write_videofile('out_put.mp4')
效果如下（有兴趣的小伙伴可以看看，效果还不错）：
视频传送门
用paddlex是不是很简单，其简明易懂的Python API，方便用户根据实际生产需求进行直接调用或二次开发，为开发者提供飞桨全流程开发的最佳实践，真的是太好用了，妈妈再也不用担心我炼丹（Deep learning）了，总之就是非常好用。
（三）结语
木有了
如果有什么错误的地方，还请大家批评指正。最后，希望小伙伴们都能有所收获。
643
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
