MMoE模型迁移

MMoE原始模型

来自github：

https://github.com/drawbridge/keras-mmoe

准备工作

下载数据集：

https://github.com/drawbridge/keras-mmoe

在迁移到ms时，需要将数据处理为mindrecord格式进行训练。需注意ms的数据保存格式为：data；label。

模型迁移

ms的init函数中需要传入需要的算子、层等。construct函数为网络的整体架构或计算过程。需要特别注意的是，要清楚算子是否需要初始化，（）问题很重要。

在完成模型的迁移之后，一定要使用net.cells_and_names以及net.get_parameters查看参数量与源代码中是否对齐。在检查完之后，继续生成相同的数据放入自己写的网络中以及源码中做对比，看每一层的结果都是否相同，以此来确保自己的模型不会出错。

若数据为多标签如（data,label1,label2）格式。需要将loss与net连接在一起。具体的使用方法如下：

损失函数 — MindSpore master documentation

在模型迁移成功之后，开始训练。刚开始记得按照源码中原始的参数进行调参。每次改动都是控制变量法，一次只改变一个东西。一般学习率用warmup（0.05*total_epoch）去调整。若loss一开始就很不正常，检查自己的模型和数据处理的问题。若loss刚开始正常，后面跑飞。使用梯度裁剪，这种方法简单粗暴。在使用梯度裁剪之后，若loss不收敛，将warmup的区间调大，若还是出现暴涨的情形，先降低warmup区间，不行的话，先保持小的warmup区间，再调低lr的初始。

在保存ckpt时，最好每个epoch都保存一下。

若训练速度很慢，可以使用profiler去查看一下各个数据的性能。

在适配8p这些环境时，使用modelzoo的yaml方式。yyds！！！

使用git总结：

git clone models: Models of MindSpore

cd models

git remote add xx yangyanjuan/models

git checkout -b mmoe_master origin/master

更新代码

git add .

git status

git commit -m 'mmoe'

git push xx mmoe_master:mmoe_master

刷新界面

创建pr：【xx大学】【高校贡献】【MindSpore】【mmoe】Ascend

/retest

合并提交

git log

git rebase -i HEAD~2

git push -f xx mmoe_master:mmoe_master