记录·盘古模型推理·的几次不成功的尝试

作者：张辉

转载链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=147200

自从阿ZUN哥出了 盘盘古模型的 CANN训练营第二期高玩作业题之后，张小白就没指望把训练做完。

但是还是做了几次推理的尝试。但是从现在的效果来看，推理好像也不成功。

下面把折腾的经过给大家介绍下。

失败乃成功之母。成龙之母。希望大家不要遇到像张小白一样的问题。

（1）鹏城服务器上的推理尝试

由于Gitee上的MindSpore代码仓的盘古代码无从下手，根据Gitee的链接，张小白一不小心找到了鹏城的链接，而且冒失的撞入了 鹏城盘古的微信群。。。小白入了专家群，后果是可想而知的。

盘古在鹏城上有两套代码仓：

https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha

和 https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha-GPU

前者是MindSpore for Ascend的，后者是MindSpore for GPU和PyTorch for GPU的。

张小白在 https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha-GPU/src/branch/master/inference_mindspore_gpu/README.md 找到了一个三分钟体验盘古推理的方式：

并且照着试了一下：

https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha-GPU/src/branch/master/inference_mindspore_gpu/3-minus-inference.md

派生自己的代码仓：

https://git.openi.org.cn/zhanghui_china/PanGu-Alpha-GPU

点击云脑：

选择 云脑1

点击新建任务

填写镜像为 dockerhub.pcl.ac.cn:5000/user-images/yands:mindspore_gpu_120

数据集：PanguAlpha_2.6B_fp16_mindspore.zip

点击新建任务：

然后等待该任务的状态改为Running，如果是Running，调试的按钮将出现（现在是灰色的不可点击）

点击调试：

会进入JuputerLab页面：

可以打开一个Python窗口：

执行 !cd /code

再执行：

!python inference_mindspore_gpu/run_inference.py --model=2B6_fp16 --load_ckpt_path=/dataset/PanguAlpha_2.6B_fp16.ckpt

看起来好像在顺利执行推理。。。

不再弹出内容了。。

居然结束了：

张小白到 推理代码中打了一些断点，发现：

保存后重新运行：

发现代码打印到Model之后就不在运行了。

询问了群里的技术专家，是这么回答我的：

这样子啊。那这个三分钟推理的尝试只好告一段落了。。。