上周自己有使用Kaggle平台运行项目的需求,查阅了一些文章,结合自己的实践经验写了此文章,将使用Kaggle平台运行项目并查看下载日志文件的过程详细记录了下来,一些注意事项也写了,希望能够帮助到大家。
目录
一、上传项目
第一步:创建notebook
1、点击左上角File
2、点击New Notebook,就可以创建一个新的notebook了。
第二步:上传项目和数据集
(建议将项目和数据集分开上传,因为无法在kaggle平台上实时更改代码,上传之后代码是只读形式的,想要修改代码只能在平台以外修改,改完之后再重新上传。为了节省上传时间,可以把数据集放到单独一个文件夹里,这样修改代码之后只上传代码就行啦~)
1、点击右上角Add data,出现下图。
2、点击第一行右边的Upload,出现下图。将项目文件夹或者zip文件拖动过来,等待上传就好了。(需要搭梯子才能上传成功)上传完成之后,需要命名,要注意名字之前不能使用过。
3、上传完成之后,点击右下角的Create。
如果之前上传过这个项目,更改部分代码之后再次上传,会出现一些重复文件,此时上传完成之后右下角不是Create了,而是Skip duplicates,如图所示,如果不再想要重复的文件,直接点击Skip duplicates即可,上传之后整个项目的文件数量会减少。如果不想跳过重复文件,点击右下角的方块,选择第二个“Include duplicates”,这样就把更改代码之后的整个项目上传上去了。
第三步:进行设置,打开GPU
1、打开右侧一栏的Settings,在Accelerator中选择GPU,即将CPU打开。
如果是第一次使用kaggle平台,Settings里面没有这一项,需要先添加。
注意到下面有个GPU Quota,是显示已经使用了GPU的时长。一个账号每个星期有36小时的使用时间,超过这个时间就不能用了。
另外还有限制,只能连续跑9个小时,项目没有跑完也会中断,中断之后就没有输出结果了,前面等于白跑。如果项目运行时间会超过9小时,建议将epoch缩小,如果一共要跑100轮,可以分成两次,一次跑50轮,第一次跑完之后保存模型,再接着跑50轮,就能解决连续运行项目时长不够的问题了。
第四步:运行项目
路径非常重要!!!
1、编写运行语句。
!python '../input/pointnet1649/wjypointnet2/train_cls.py'
‘’里面是训练文件的路径。在右侧找到文件,可以直接复制文件路径。一定要注意更改代码里调用的模型路径,否则运行会报错。
下图是我的项目目录。
下图是我训练文件中更改的模型路径。
2、点击右上角Save Version,出现下图。
3、点击右下角Save,程序即可运行。
一定要选择Save&Run All,将模型保存下来,这样才能继续训练,并且查看日志文件。
二、查看运行结果、下载日志文件
第一步:更改日志文件保存路径
一定要更改代码里的日志文件保存路径,将其放到/kaggle/working/下。
下图是我训练文件代码,代码第二行更改了路径,其他都没有改。
下图是运行完成的项目,从Home里右侧Your Datasets里可以找到所有保存运行的项目。点击项目名称,进入项目主页,点击Code->Your Work,出现项目,点击进入下图页面。可以看到右侧Output中已经存在输出日志了。如果路径不正确,Output中就没有文件。
第二步:查看日志文件
1、在上图页面点击Notebook,往下滑即可看到日志文件。
第三步:下载日志文件
1、在上图页面点击Logs,出现下图。
2、点击右侧Download Logs,即可下载日志文件。