整理:Tom Hardy
对目标检测开源框架进行了汇总,无论是模型的快速实现,抑或是落地调优,都非常方便
1、mmDetection
维护:商汤科技
Github连接:https://github.com/open-mmlab/mmdetection
为目标检测而生的框架,商汤科技和香港中文大学联合开源。支持的模型越来越多(如下图所示),模块化的设计:backbone、neck、box_head、rpn_head的自由组合,非常适合模型的快速设计和优化。主要包括one-stage、two-stage、实例分割等模型。
![v2-b8004289205a816bba870e02bcb6a5d9_b.jpg](http://img-02.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic2.zhimg.com/v2-b8004289205a816bba870e02bcb6a5d9_b.jpg)
![v2-3ac32018fae00c152d24a8dcf0f80c9c_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-3ac32018fae00c152d24a8dcf0f80c9c_b.jpg)
![v2-73a80ad66363304fa6eae77db583b488_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-73a80ad66363304fa6eae77db583b488_b.jpg)
2、Detectron/Detectron2
维护:Facebook
Github连接:https://github.com/facebookresearch/detectron2
Detectron现有两个版本,2版在model zoos和速度上做了优化,涉及目标检测、关键点检测、实例分割、全景分割等模型。
![v2-9b619f05e75169f8ee2f6a11b8f5b642_b.jpg](http://img-03.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-9b619f05e75169f8ee2f6a11b8f5b642_b.jpg)
![v2-68837b6ff69f27480d7c50daea21c6d2_b.jpg](http://img-02.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-68837b6ff69f27480d7c50daea21c6d2_b.jpg)
![v2-39e1503b3c460eddba128370a8d07953_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic4.zhimg.com/v2-39e1503b3c460eddba128370a8d07953_b.jpg)
![v2-3d52298aa630d5b4a08785de7db6e0f0_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-3d52298aa630d5b4a08785de7db6e0f0_b.jpg)
![v2-e7c538c2d4b094834237253938a6aa6a_b.jpg](http://img-02.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-e7c538c2d4b094834237253938a6aa6a_b.jpg)
3、Object Detection Api
维护:Google
Github链接:https://github.com/tensorflow/models/tree/master/research
![v2-773d4d70399f29f5031c741308c30517_b.jpg](http://img-02.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic4.zhimg.com/v2-773d4d70399f29f5031c741308c30517_b.jpg)
4、SimpleDet
维护:图森未来
Github链接:TuSimple/simpledet
![v2-39f7b4f88c5a9bf5986160093a4c11ac_b.jpg](http://img-03.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-39f7b4f88c5a9bf5986160093a4c11ac_b.jpg)
![v2-07c19ca9f0b70b24cfcf0f677b7117de_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-07c19ca9f0b70b24cfcf0f677b7117de_b.jpg)
5、GluonCV
维护:李沐及 MXNet 团队
Github链接:dmlc/gluon-cv
GluonCV 0.3版本加入5个算法和38个预训练模型,并改进了28个已有模型。在ResNet,MobileNet,Yolo-V3,Faster-RCNN和DeepLab-V3等模型上全面超越目前最好结果。
![v2-df230fc197faea6ece0043b2a40fdecf_b.gif](http://img-03.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic4.zhimg.com/v2-df230fc197faea6ece0043b2a40fdecf_b.gif)
![v2-dff0598593772fb0374e3135d8aceb9c_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-dff0598593772fb0374e3135d8aceb9c_b.jpg)
![v2-4565cd82d1051553e8093c3354944716_b.jpg](http://img-03.proxy.5ce.com/view/image?&type=2&guid=4f451299-e12e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-4565cd82d1051553e8093c3354944716_b.jpg)
6、Det3D - 首个通用 3D 目标检测框架 (已开源)
Github链接:https://github.com/poodarchu/Det3D
Det3D 支持的数据集:
- KITTI http://www.cvlibs.net/datasets/kitti/
- nuScenes https://www.nuscenes.org/
- Lyft https://level5.lyft.com/dataset/
- ...
以及目前支持的模型:
- VoxelNet
- SECOND
- CBGS Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection
- Point Pillars
- PIXOR
- PointNet++
- Point RCNN (即将 release)
- ...
Det3D 的一些新特性:
- 多 GPU 训练 Distributed Data Parallel
- 统一的数据集 API
- 统一的 config
- 统一的训练流程
- 统一的数据增强 pipeline
- 支持灵活的扩展
- 支持 sync bn
- state of the art 的性能(CBGS)
- 完备的可视化功能(数据、label、feature map、多视图、3D)
- 提供地平面检测等辅助模块
往期干货资源:
汇总 | 国内最全的3D视觉学习资源,涉及计算机视觉、SLAM、三维重建、点云处理、姿态估计、深度估计、3D检测、自动驾驶、深度学习(3D+2D)、图像处理、立体视觉、结构光等方向!
汇总 | 3D目标检测(基于点云、双目、单目)
汇总 | 6D姿态估计算法(基于点云、单目、投票方式)
汇总 | 三维重建算法实战(单目重建、立体视觉、多视图几何)
汇总 | 3D点云后处理算法(匹配、检索、滤波、识别)
汇总 | SLAM算法(视觉里程计、后端优化、回环检测)
汇总 | 深度学习&自动驾驶前沿算法研究(检测、分割、多传感器融合)
汇总 | 相机标定算法
汇总 | 事件相机原理
汇总 | 结构光经典算法
汇总 | 缺陷检测常用算法与实战技巧