DataWhale和趋动云联合活动:大模型实践作业笔记
过程记录:
整个过程和本地开发部署流程是类似的。
-
首先是创建项目,包括:项目名称,配置环境(这里是使用镜像,非常方便!),拉取代码,选择数据,预训练模型。和一般的深度学习开发过程是一样的。这个过程不难,关键在于细心,环境(镜像)不要选错。
-
然后进行拉取代码,做相应的改动。开发者工具中,JupyterLab可以很方便地对代码进行修改。网页终端基本操作就是常用的linux命令,由于对ubuntu系统比较熟悉,所以对相关的命令操作比较得心应手,没有特别困难的地方。
-
最后,是按教程的运行对应的代码入口文件。
作业之外关注到的一些东西:
-
关于趋动云平台的使用,对各个功能模块框架有了基本的了解。
-
**docker镜像:**头一次体会到镜像带来的便利性,之前也对docker镜像有所耳闻,但没有做过多的了解。接下来一定要把这个工具学起来用起来!官方还提供了非常详细的配套手册,
-
**关注开源,拥抱开源,善用开源。**DataWhale还有很多开源项目,这些开源项目的参与者都是出于对开源的热爱,自发的把自己对知识的理解汇总成详细的学习笔记。这其实是非常难得的资料,首先是所有代码都是亲自实践并成功可运行的,其次是作为学生笔记,与很多教材不同,市面上有一部分教材是为评职称写的,质量难以保证;还有一部分是写得非常深,也就是不够接地气。而这样的一份开源笔记实则是最适合作为学习资料的。正巧近期也在看Transformer,正愁找不到相关的代码,不会难以理解写得很复杂的代码其实不好找。
三次作业给我带来的收获:
-
第一次通过线上云端部署大模型,熟悉了整个流程,体会到了整个过程的便捷性,特别是在搭建环境的过程。
-
感谢有一群热心善良的开源贡献者,从今天起,也要不断提升自己的实力,努力加入开源贡献者的行列,为行业发光发热,学有所用,用有所成!
接下来要做的任务:
- 感谢DataWhale组织的活动,感谢趋动云送的算力。三个任务跑完之后仅用了6算力点,还剩160多算里,接下来要好好利用,把之前在实验室跑不动的实验安排上!尝试在云端跑模型代码。
- 学习docker镜像的相关知识。后面需要能够自己熟练地给自己的环境打包。工欲善其事,必先利其器!