weixin_45912009的博客

原创 学习笔记(01):如何从零开始设计与开发一款通用模型预测调度系统-调度器实现细节举例 – 用一个GPU完成任意模型的任意次预测...

机器学习模型从训练导出到生成环境部署，这个过程中涉及大量工作，会面临着各种问题与挑战，比如不断丰富的业务场景，系统需要负载种类繁多的神经网络，预测任务不均匀等，然而企业拥有的计算资源（如GPU个数）是有限的，如何能在有限资源下顺利完成任务，是一个不小的挑战。同时，医疗AI场景有着其独特的生产环境，本期课程推想科技将分享工程实践中如何解决上述挑战的，并与大家探讨如何从零开始，分析与抽象问题，设计架构...