关于自训练平台的思考

“公司不应专注于代码，而应专注于开发系统的工程实践，以可靠、高效和系统的方式改进数据。换句话说，公司需要从以模型为中心的方法转变为以数据为中心的方法。”

— LandingAI 首席执行官兼创始人吴恩达

        最近看到了吴恩达大佬离开百度后创办的公司Landing AI，去官网看了看，是做自训练平台的。而且是面向工业AI的自训练平台。

        想起今年做的一个工业AI的项目，也是人工智能代替质检，期间遇到的问题与Landing AI官网上提到的如出一辙：

1. 引入新的或定制的部件或在不断变化的环境中工作，例如带有大窗户的工厂中的照明条件，也可能会出现问题。
2. 如果没有一致的数据管理方法，人工智能系统就无法准确地检查产品。虽然该系统可以分析装配线上产品的图像并识别划痕和凹痕等缺陷，但这也可能带来挑战，因为人类专家在描述损坏时并不总是会就适当的标签达成一致。
3. 开发和部署需要很长时间，在许多情况下，创建和部署 AI 模型可能需要几个月的时间。
4. 不同的团队使用不同的方法来开发 AI 解决方案、与质量团队合作以及管理数据，这使得团队很难向其他团队学习并标准化工作流程。

第一点：在学校期间或是以研究为主的工作，往往会考虑复杂背景的影响，一批数据中每一张的背景都不同，而在AI质检中，往往只用考虑单一背景，一批数据的背景都十分相似。这就带来一个问题，就是在生产环境中出现的其他情况往往会使得模型直接“失效”，比如上文提到的光照影响，虽然一般工厂里的摄像头前都有补光光源，但是也会随着灰尘的堆积变暗，导致图片质量变差从而导致模型“失效”。

第二点：质检并不是像猫狗二分类那样边界清晰，质检的边界是一个动态范围。

不同的质检员对同一个缺陷的判断标注不同，连人类都无法评估，怎么评估模型的对错呢？

第三点：硬件方面可以抽象成输入摄像头的图像流，输出机械控制装置检出或者不动。这当中的流程涉及到非常多的方面，开发部署和迭代升级的周期长。

第四点：团队会针对每个项目开发一套单独的系统，缺少模块化的东西，所以开发成本大。

        所以想到设计并实现这么一套端到端的自训练平台就很合理了。

        近几年的深度学习发展已经从搭积木的方式过渡到大一统的方式。

（1）手动设计网络结构 -> NAS搜索；

（2）固定感受野 -> 引入空间注意力做感受野自动调节；

（3）效果提升不上去 -> 换个思路做实时分割来对比结果；

（4）自监督太热门 -> 引入弱监督 （GAN, 知识蒸馏, ...） + trick = 差不多的score；

（5）DNN太枯燥，融入点传统视觉的方法搞成end-to-end训练；

（6）CNN太单调，配合GCN搞点悬念；

（7）嫌2D太low逼，转3D点云分割；

觉得太懒？积木堆起：A+B，A+B+C，A+B+C+D，...

---------转载知乎

        大一统的方式就是大模型和多模态。paperswithcode上的ImageNet排行前10名中9个模型的权重大于1G，多是transformer，需要海量的训练数据才能达到很好的效果。多模态是将图片、文本、声音、视频等多种信息载体融合在一起的模型。大一统的模型往往具有很好的泛化性能，正好适合工业AI这样的环境，不过我还没搞清楚怎么在大模型的基础上通过小批量的样本就能很好的适应任务的，不知道这样做的理论解释是什么。

        深度学习（神经网络）是个颠覆性的创新，但我觉得其优化空间已经快到顶了（或者说是陷入了瓶颈），在模型上优化的代价越来越大，收益越来越小。所以市场开始看重应用的用户体验，开始注重部署的便捷性和迭代的成本，再加上芯片等硬件和深度学习框架等软件的发展，能够整合这些资源开发一个对用户友好，性能强大，精度不算顶级但够看的自训练平台就成了趋势。

---

下次更新

1、目前市面上的自训练平台

2、自训练平台的架构，需要注意的点