直播知识点实录|百度大脑EasyDL产业应用系列 质检专场

EasyDL产业应用系列【安全生产及数据处理】公开课，课程中不仅介绍了EasyDL在安全生产领域的落地案例与实战演示，还有新上线的EasyData智能数据服务平台功能与介绍。没有参加课程的小伙伴也不用担心，可通过实录完整解析 AI 巡检业务场景和定制 AI 解决方案，小时级成功变身 AI 应用专家！ 同时，5月27日至5月29日为EasyDL-NVIDIA专场公开课，全面解析如何提升端/边/云高效协同，有效满足业务需求。开发者们可通过扫描下方二维码进行报名！

【质检专场】直播回放：

药盒质检-上：https://www.bilibili.com/video/BV1zK411W7VH
药盒质检-下：https://www.bilibili.com/video/BV1KT4y1g7dE
喷油嘴-上：https://www.bilibili.com/video/BV1cz411B7az
喷油嘴-下：https://www.bilibili.com/video/BV1xt4y1C7f5
视觉定位-上：https://www.bilibili.com/video/BV1mk4y167ao
视觉定位-下：https://www.bilibili.com/video/BV1SQ4y1A7aJ

【质检专场】课程笔记：

2020年5月13日
课程笔记——医药物流中的药盒检测软硬一体方案
讲师：浙江工业大学信息工程学院 付明磊老师
百度资深研发工程师 哈利老师
课程大纲：
1. 医药物流行业分拣的现状和痛点
2. 如何使用EasyDL专业版进行检测模型的定制和部署

现在我国各地区均建有医药物流配送中心，来对接各大医院和药店。根据售订次数和订货量，我们把药品分为A、B、C三个等级：其中A类实物量少，但是价值高，出货方式是整箱出货；C类药品品种多，实物量多，价值低，往往是零散出货，B类在AC之间。今天分享的就属于C类分拣，出货量大，但是出货频率低，以往都是人工分拣方式，并且每个供货分拣的区域比较大，这种人工分拣加人工复核的方式，使得药盒分拣效率低。

近年来，随着互联网医药的快速发展、医药流通市场的逐步规范，以及两票制推行，我们的医药物流显现出两个明显的特点：第一是拆零占比大，也就是说整箱药品被拆开进行零散分拣的比例越来越大；第二就是订单的碎片化程度高，因为我们可以看到，有越来越多的药店可以从医药物流企业进货，这种商品的分拣和复核给物流企业带来了巨大压力，因此采用机器人替代人工复核的呼声越来越高。

药盒检测是我们实现机器人分拣的技术难题之一。有三点原因，第一就是药盒的种类非常多，现在在我国最新的医保目录内药品有2643种，目录外药品更多，我看到一个数据，我们国内现在各类药品加起来可能超过了10万种，而且不断有新药在研发。第二，药盒检测的背景比较复杂，大家可以看到中间这张图，药盒是分层堆积在药箱里的，下层会对上层的药盒产生比较大的背景干扰。第三，要求检测速度比较快。正是因为这三个原因，所以药盒检测对我们工厂是有难度的。

随着机器学习，特别是深度学习在复杂数据上的表现越来越优秀，很多企业希望把人工智能的方法、深度学习的成果应用到自己的产品和服务中。但是，即使使用了预训练模型或者开源框架，对许多不了解深度学算法的人来说仍很有挑战，另外机器学习不是产品的核心技术，而我们需要额外维护深度学习的算法团队，付出的成本也是非常高。因此，需要找到一种能够快速使用，高性能，深度学习，而成本低廉的方法。

大家可能会问，我们现在在GitHub上已经有很多优秀的开源项目，我们可以找到高度分装的算法和大量开发的数据集，成本不是更低吗，为什么还要使用EasyDL？大家知道，如果你想用这些开源的项目并复现它的效果，或者根据情况调整代码，开发者需要具备一定机器学习的知识，并且有很多开源项目的文档说明和技术支持不是持续的，需要使用者或者开发者一点点调试和试错才能正确实践和复现。更重要的是，我们辛辛苦苦获得了训练好的模型，但是将这些模型部署到移动端或硬件平台上将遇到很多的困难，主要是因为当前流行的深度学习框架并没有完美支持模型部署，所以在部署上仍会遇到问题。

所以说，对于不太了解深度学习或者机器学习的开发者而言，特别是我们的企业用户而言，最好能够把我们前面讲的这些过程自动化。比如我们可能只需要收集少量的数据，而且这些数据只要和任务相关就好，我们能够在一个成熟的平台上完成对于这些数据的标注，让系统帮助我们去选择合适的模型，并且进行参数的调试训练，最后帮助我们把已训练的模型直接部署到云端API、或者打包成SDK。其实我们现在已经有一些平台能够完成这一系列过程了，比如百度的EasyDL，我们今天向大家介绍就是EasyDL的专业版。

专业版是针对AI初学者和专业工程师开发出来的，特点是只需要少量即可定制高精度的AI模型，原因是EasyDL中已经预置了由百度海量数据训练的预训练模型。目前，EasyDL的专业版支持视觉和自然语言处理两大技术方向，这也是现在AI领域中很热门的方向。EasyDL专业版目前为开发者提供了两种开发方式，脚本调参和Notebook开发方式，大家可以到官网进行详细了解。

因此，我们在做药盒检测的时候就使用了EasyDL专业版，我们采用的是EasyDL专业版中的物体检测模型。物体检测模型这里列出的三种，FasterRCNN、YOLOV3、mobilenetSSD。了解深度学习的朋友都知道这是非常有名，也是非常经典的三个主流物体检测模型。

那么，使用EasyDL如何开发专业版的药盒检测模型呢？总体流程是这样的：首先我们需要分析业务需求，EasyDL专业版里支持图像分类，物体检测，文本分类，短文本匹配等六种模型，对药盒检测而言可使用的是物体检测模型。

第二是准备数据，这个环节看上去很枯燥，但是大家一定要重视，在这个环节我们需要完成的是数据上传和数据标注，但是大家一定要注意，我们给模型提供的数据需要尽量与真实数据场景一致，比如说我们在药盒检测时候，我们的机械臂上使用的是英特尔的，我们在进行药盒采样和药盒原始数据集也都是用这个采集的。第三是创建项目，大家要根据自己的习惯和开发方式选择，刚才也提到了，这里支持脚本调参和Notebook两种方式。第四就是配置任务并启动训练，在这边我们需要配置训练集和评测集，评测集是可选的，需要选择预训练模型，大家可以根据自己的需要、训练精度和预测的时间等来选择预训练模型。现在物体检测有四种模型，之后就可以启动训练，交给百度的云平台后端进行训练。完成模型训练以后，我们可以通过模型训练的评估结果给出的评估报告，查看评估效果，大家也可以用测试集进行实际测试，看看这个模型能不能满足自己的训练要求。在这个过程中，EasyDL支持数据闭环，可以持续快速优化模型效果。

最后就是模型部署部分，当模型训