【百度云】【深度学习平台】【Python】【Jupyter Notebook】
写下这个帖子 是为了记录一下之前折腾代码实验 踩过的一些坑
给自己写个备忘 也给有遇到相同问题的读者 一个解决思路
- 先把我自己在百度云的深度学习平台上跑的这个步骤记录一下吧
【坑1:将数据集从BOS传到集群上】
数据集存储在百度云的BOS上
代码运行平台使用的是深度学习平台创建的集群 用Jupyter Notebook进行代码编译
(1)创建集群 打开Jupyter Notebook上传代码;记下公网IP和设置的密码 用PUTTY远程登录服务器,准备将数据集从BOS上传到集群。
(2)打开PUTTY,输入公网IP,选择登录身份root,输入密码,远程登录服务器。
用命令行 wget -P (目标路径) (BOS上文件的链接) ///
举个栗子:wget -P /mnt/ https://www.nwpu.com/NWPU1_10.h5
这样就能将存在BOS的数据集传到集群上 和代码放在一起(这里我都是把数据集放在/mnt/目录下,而代码默认是放在/home/work/目录下)
(3)打开集群上的Jupyter Notebook,运行代码就完事儿了。
- 【坑2:用集群上的Jupyter Notebook跑代码,代码里需要从GitHub上下载预训练模型,速度极其缓慢】
由于集群带宽很小,并且集群上并没有VPN,所以从外网下载模型速度会非常慢。所以:
自行到GitHub上将预训练模型下载下来,上传到BOS,再用wget的方式传到集群中,放在/home/work/.keras/models/目录下即可。(网上很多都是说直接放在~/.keras/models/,但实际上应该把预训练模型放在代码的工作目录下的models文件夹中)