RK3588上RTSP实时视频流违规内容检测

        主要功能：

        （1）在RK3588上使用ZLMediakit拉取RTSP流进行MPP硬解码，然后通过yolo分类模型以及OCR文字识别模型检测视频中的违规内容。出现违规内容后，将图片帧保存到本地，并记录日志。

        （2）同时RK3588还负责编码推流的部分，将拉取到的流通过MPP进行硬编码，然后以RK3588本身为推流服务器，进行视频推流。检测到违规内容时，中断推流。

        编程语言：C++

        支持输入：USB、HDMI、RTSP/RTMP

        文字版违规内容字典来源于github开源项目

        因为篇幅有限，本篇文章只进行结果展示和设计思路讲解。如果项目和代码方面的需求以及建议，欢迎私信。

目录

1. 结果展现：

2. 设计思路简介

3. 写在后面的话

---

1. 结果展现：

(1) STEP 1:

使用 rtmp_server 模拟RTSP推流，方便进行违规内容检测。

(2) STEP 2:

启动拉流并进行算法推理

(3)STEP3:

开始进行推流

(4)STEP4: 检测到违规内容，保存违规图片并终止算法

具体因为啥违规就不展示出来了，以免被封，哈哈哈哈哈.

2. 设计思路简介

如下图：

        线程1负责从RTSP流中拉流、硬解码、解码后的数据保存到缓冲区、将解码后的数据直接进行编码、推流。

        线程2负责从缓冲区中读取数据，然后对数据进行处理后分别送到yolo模型的线程池任务队列以及ocr模型的线程池任务队列中，分别进行图片内容和文字的识别。

3. 写在后面的话

        在yolo模型和ocr模型的共同作用下，违规内容识别的准确度在80%以上，如进一步针对ocr算法添加大量的繁体字数据集并进行训练，精度能进一步提升到90%以上。为啥添加繁体字数据集后精度能提升这的多呢？那肯定是因为这种违规内容大部分情况下都是以繁体字出现的，你懂得，谁让咱的祖国妈妈有个不太老实的儿子呢。

        此外，由于ocr算法在rk3588上的识别速度较慢，因此模型没有办法做成串行模式。并行模式导致的问题就是：当视频中出现违规内容时，视频并不会立马终止，而是会播放0.1-1s左右后才被切断。不过尚且可以接受。也可以通过延迟播放的方式一定程度上解决这个问题，但这种方式也有弊端，所以不太推荐。

        如果你有更好的方法解决这个问题，欢迎私信，必有重谢！！！