【百度云】【深度学习平台】【Python】【Jupyter Notebook】跑实验踩过的坑

最新推荐文章于 2025-07-23 14:17:18 发布
原创 最新推荐文章于 2025-07-23 14:17:18 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#百度云 #深度学习平台 #Jupyter Notebook

本文分享了在百度云深度学习平台使用JupyterNotebook进行代码实验的经验，包括如何从BOS传输数据集到集群，解决从GitHub下载预训练模型速度慢的问题。

【百度云】【深度学习平台】【Python】【Jupyter Notebook】
写下这个帖子 是为了记录一下之前折腾代码实验 踩过的一些坑
给自己写个备忘 也给有遇到相同问题的读者 一个解决思路

  1. 先把我自己在百度云的深度学习平台上跑的这个步骤记录一下吧
    【坑1：将数据集从BOS传到集群上】
    数据集存储在百度云的BOS上
    代码运行平台使用的是深度学习平台创建的集群 用Jupyter Notebook进行代码编译

（1）创建集群 打开Jupyter Notebook上传代码；记下公网IP和设置的密码 用PUTTY远程登录服务器，准备将数据集从BOS上传到集群。
（2）打开PUTTY，输入公网IP，选择登录身份root，输入密码，远程登录服务器。
用命令行 wget -P (目标路径) (BOS上文件的链接) ///
举个栗子：wget -P /mnt/ https://www.nwpu.com/NWPU1_10.h5
这样就能将存在BOS的数据集传到集群上 和代码放在一起（这里我都是把数据集放在/mnt/目录下，而代码默认是放在/home/work/目录下）
（3）打开集群上的Jupyter Notebook，运行代码就完事儿了。

  1. 【坑2：用集群上的Jupyter Notebook跑代码，代码里需要从GitHub上下载预训练模型，速度极其缓慢】
    由于集群带宽很小，并且集群上并没有VPN，所以从外网下载模型速度会非常慢。所以：
    自行到GitHub上将预训练模型下载下来，上传到BOS，再用wget的方式传到集群中，放在/home/work/.keras/models/目录下即可。（网上很多都是说直接放在~/.keras/models/，但实际上应该把预训练模型放在代码的工作目录下的models文件夹中）
jupyter notebook 教程
01-24
jupyter notebook 英文教程 很基础明了，介绍的比较详细
Linux服务器上跑深度学习实验
小吴不会敲代码吧
12-04 1525
本文介绍如何在Linux服务器上跑深度学习的代码，包括远程连接、环境搭建和ssh断开连接后代码终止等问题，并给出上述问题的解决办法。
基于Jupyter Notebook的视网膜血管分割深度学习项目教程
最新发布
weixin_34413326的博客
07-23 456
TensorFlow是由Google开发的一个开源的深度学习框架，它提供了一整套工具用于构建和部署大规模机器学习模型。TensorFlow的核心是一个定义和运行计算图的库，它既可以运行在单机上，也可以在分布式系统中扩展。Keras则是一个高层神经网络API，它能够运行在TensorFlow、Theano和CNTK等后端之上。Keras的设计原则是用户友好、模块化和易扩展性，这使得它非常适合进行快速实验和搭建原型模型。U-Net模型自提出以来，衍生出许多变体，它们在结构和性能上各有千秋。
深度学习部分实验(粗略)
Yale的博客
05-27 1015
近一个月在做实验的时候光顾着截图一个最后的结果，没有给保留代码等，这篇博客里是最近一个月做的一些小实验。后续发实验类的博客的时候尽量把必要背景知识、代码等加上。这次就先勉强看看吧 在生成领域，自编码器是GAN的前身，今天用VAE在MNIST做了生成实验，图1是10个class到latent space的投影，从投影就可以看出，同一类会尽量分在一起，说明latent space是很好的表示。图2是解码器输出的情况。整个流程就是图像-》编码器-》采用-》解码器-》图像 图一 图二 另外今天在跑实验的时候由于
连接远程服务器实现深度学习实验
这里是萤石ym的学习路途，努力搬砖！
06-18 2001
部分参考博文。
超快上手Jupyter notebook
lalalared的博客
04-25 298
总结一下jupyter notebook的使用 1.用终端打开jupyter jupyter notebook 2.打开.ipynb文件 ①直接upload ②.在终端输入路径（windows方法） jupyter notebook G:\2019年\湖南工业大学\学习资料\Coursera-ML-using-matlab-python-master 3.新建.ipynb new->py...
基于百度云深度学习竞赛的Python深度学习模型设计源码
09-29
该项目集合了百度云深度学习竞赛的Python深度学习模型设计源码，包含多种类型的文件，总数达92个。这些文件不仅限于代码，还包括了图像、文档和配置文件等多种形式，展现了项目内容的丰富性和多样性。 在文件类型的...
基于Python的百度云深度学习竞赛设计源码分享
09-29
该项目为基于Python的百度云深度学习竞赛设计源码，总计包含92个文件，涵盖36个PNG图片、29个Jupyter Notebook (.ipynb) 文件、11个字体文件（.ttf、.ttc）、4个Markdown (.md) 文件、4个Cascading Style Sheets ...
基于百度云平台的深度学习魅族应用大赛源码分享
09-27
深度学习结合百度云平台，为各种应用的开发与创新提供了高效、便捷的平台支撑。百度云作为国内领先的企业级云计算平台，不仅为开发者提供了丰富的计算资源和稳定的运行环境，而且凭借百度在人工智能技术领域的深厚...
python-anaconda cuda安装和jupyter notebook使用
随笔
10-08 994
pip语句结束后边加上： -i https://pypi.tuna.tsinghua.edu.cn/simple。中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/清华：https://pypi.tuna.tsinghua.edu.cn/simple。阿里云：http://mirrors.aliyun.com/pypi/simple/豆瓣：http://pypi.douban.com/simple/安装./anaxxxx.sh。这里需要右键保存即可下载。
那些提供Jupyter Notebook服务平台们
Time flys
12-03 847
那些提供Jupyter Notebook服务平台们 Jupyter Notebook 最开始只是用来方便交互式执行pyhton命令，由于其交互性强、美观易懂，所呈现内容符合思考习惯，经过多年的发展，jupyter notebook已经成为教学、分享、工作中常用的工具。人们也对notebook这种形式做了拓展，不只有python，还可以运行scala、spark、sql、机器学习等等一系列扩展。前几...
深度学习之 物体识别 Tensorflow object detection API 训练自己的模型 完整例子
ClarkChang的博客
07-04 7464
     记录 Tensorflow object detection API 物体识别 训练自己的模型   1、搭建环境  本例子，基于win10 64位 + Anaconda环境 安装和验证(自带例子)过程中会遇到缺失包及各种版本匹配问题(公司网络有些限制)，如果想节省时间的，可以安装如下版本的 Anaconda及相关包   1、安装Anaconda，版本建议如下 Anaconda3-5.2...
使用Jupyter notebook和Pycharm 详细搭建深度学习远程服务器
flyingluohaipeng的博客
05-16 7201
一. Jupyter lab (Jupyter notebook) 在远程服务器安装Jupyter Lab pip install jupyterlab 生成配置文件 jupyter notebook --generate-config #生成的文件位于：~/.jupyter/jupyter_notebook_config.py #配置文件 设置密码 $ python In [1]: from notebook.auth import passwd In [2]: passwd() Ente
百度飞桨AI Studio jupyter notebook环境库、包、数据集永久安装（且文件能跟着jupyter文件走）的方法
影龙武的博客qq_43594119
06-30 1万+
百度飞桨AI Studio jupyter notebook环境库、包、数据集永久安装（且库文件能跟着jupyter文件走）的方法 1、work文件夹的特殊性（只要不是data文件夹就可以，文章最后一步可以看到） 1、先进入平台环境（如下如）：这里的work文件夹在生成版本的时候可以选择添加，所以我们可以把所有的文件都放到这个文件夹里。 2、安装库包到work文件夹里 1、如下图点击终端 如果没有终端-1，选择左侧的环境，点击新建终端 2、输入命令 pip install 包名 -t /home/ai
mxnet深度学习实战：跑自己的数据实验和一些问题总结
slamer的专栏
04-13 1万+
用mxnet跑自己的数据 1 数据准备    参考  http://blog.csdn.net/a350203223/article/details/50263737   把数据转换成 REC 模式。    备注： make_list.py  可以自动生成 train 和 val 的 lst文件。  可使用参数  --train_ratio=XXX  2 跑数据   参
jupyter notebooks打开的是百度网盘
江南蜡笔小新
05-18 964
解决办法： 卸载：参考 Linux Jupyter启动错误-百度云盘进程占用端口 查找路径+权限+卸载 实测更改本地端口号无用 使用token： [I 16:02:53.530 NotebookApp] Jupyter Notebook 6.1.4 is running at: [I 16:02:53.530 NotebookApp] http://localhost:8888/?token=***************************** 给出的信息会有这样一个链接 复制到浏览器打开
Jupyter Notebook 优化设置
90後_小熊大 博客
10-30 2091
Jupyter Notebook原生态的主题和字体看着就让人感到难受，为此，非常有必要为Jupyter Notebook寻找一款更加人性化、更炫酷的主题。同时为了提高写代码的效率，对Jupyter Notebook设置代码自动补全。   主题设置： 主题下载： pip install --no-dependencies jupyterthemes==0.18.2 安装好了，有的电脑可能...
cuda10、cudnn10下载链接（百度云版）
韩韩的博客
01-29 1万+
cuda10需要注册账号以及科学上网，目前网络上给大家提供的下载链接又是csdn的下载，需要积分，这对于没有积分的用户非常不友好。对此，我给出了百度云的链接。如果对各位有用，请点赞、关注、评论支持一下啊。 百度云链接 提取码：o12j ...
Jupyter 在线python编辑器
热门推荐
东方佑
02-26 17万+
https://hub.mybinder.turing.ac.uk/user/ipython-ipython-in-depth-ptbl7zzf/notebooks/examples/Notebook/Working%20With%20Markdown%20Cells.ipynb 1,点击运行 2,点击出现的输入框,输入程序 3,点击运行 ...
深度学习百度云服务器
01-10
### 百度云服务器上的深度学习环境配置 为了在百度云服务器上顺利开展深度学习项目，前期准备工作至关重要。这不仅涉及基础架构的选择，还包括软件栈的搭建以及特定框架的支持。 #### 选择合适的实例类型 针对深度学习任务的特点——计算密集型工作负载，建议选用配备高性能GPU资源的实例型号[^1]。这类实例能够显著加速神经网络训练过程中的矩阵运算速度，从而缩短整体开发周期并提高效率。 #### 创建安全组规则 创建虚拟机之前需先规划好网络安全策略。通过合理设置入站/出站流量控制列表（ACL），可以有效保障远程访问的安全性的同时允许必要的通信端口开放给外部连接请求，比如SSH登录、HTTP(S) Web服务等操作所需使用的默认TCP端口号22,80,443等。 #### 安装依赖库与工具链 完成上述步骤之后即可着手准备安装Python解释器及相关科学计算包如NumPy,Pandas; 同时也要确保CUDA Toolkit版本匹配所选显卡驱动程序规格说明书中给出的要求范围之内；最后不要忘记下载目标平台官方发布的预编译二进制文件形式存在的TensorFlow或者PaddlePaddle Python Wheel分发版来简化后续集成测试环节的工作量。 ```bash sudo apt-get update && sudo apt-get install -y python3-pip git cmake g++ pip3 install --upgrade pip setuptools wheel pip3 install numpy pandas matplotlib scikit-learn opencv-python paddlepaddle-gpu==2.3.0.post110+cu110 ``` #### 配置Jupyter Notebook作为交互式编程界面 考虑到实际应用过程中可能频繁调整超参数组合尝试不同算法实现效果对比分析的需求场景特点，部署一套基于Web浏览器可视化的IDE解决方案显得尤为必要。这里推荐采用轻量化设计思路构建而成的开源产品JupyterLab满足此类诉求： ```bash pip3 install jupyterlab jupyter labextension install @jupyter-widgets/jupyterlab-manager nohup jupyter-lab --ip=0.0.0.0 --port=8888 & ``` #### 加载已有模型或从头开始训练新模型 当一切就绪后便可以直接加载本地磁盘中存在的预训练权重参数继续微调优化现有结构性能指标表现水平；当然也可以利用公开数据集自行编写代码片段定义全新的网络拓扑关系进而执行完整的end-to-end流程直至获得满意的结果为止。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值