【百度云】【深度学习平台】【Python】【Jupyter Notebook】跑实验踩过的坑

【百度云】【深度学习平台】【Python】【Jupyter Notebook】
写下这个帖子 是为了记录一下之前折腾代码实验 踩过的一些坑
给自己写个备忘 也给有遇到相同问题的读者 一个解决思路

  1. 先把我自己在百度云的深度学习平台上跑的这个步骤记录一下吧
    【坑1:将数据集从BOS传到集群上】
    数据集存储在百度云的BOS上
    代码运行平台使用的是深度学习平台创建的集群 用Jupyter Notebook进行代码编译

(1)创建集群 打开Jupyter Notebook上传代码;记下公网IP和设置的密码 用PUTTY远程登录服务器,准备将数据集从BOS上传到集群。
(2)打开PUTTY,输入公网IP,选择登录身份root,输入密码,远程登录服务器。
用命令行 wget -P (目标路径) (BOS上文件的链接) ///
举个栗子:wget -P /mnt/ https://www.nwpu.com/NWPU1_10.h5
这样就能将存在BOS的数据集传到集群上 和代码放在一起(这里我都是把数据集放在/mnt/目录下,而代码默认是放在/home/work/目录下)
(3)打开集群上的Jupyter Notebook,运行代码就完事儿了。

  1. 【坑2:用集群上的Jupyter Notebook跑代码,代码里需要从GitHub上下载预训练模型,速度极其缓慢】
    由于集群带宽很小,并且集群上并没有VPN,所以从外网下载模型速度会非常慢。所以:
    自行到GitHub上将预训练模型下载下来,上传到BOS,再用wget的方式传到集群中,放在/home/work/.keras/models/目录下即可。(网上很多都是说直接放在~/.keras/models/,但实际上应该把预训练模型放在代码的工作目录下的models文件夹中)
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值