华中科技大学云超算平台Jupyterlab深度学习使用学习记录

最新推荐文章于 2023-08-22 16:24:53 发布

皮蛋秀柚啾

最新推荐文章于 2023-08-22 16:24:53 发布

阅读量1.3k

点赞数 1

文章标签：深度学习 pytorch python

本文链接：https://blog.csdn.net/qq_43530590/article/details/121989598

版权

本文记录了在华中科技大学云超算平台上配置Jupyter环境的过程，包括设置镜像源、创建环境、安装PyTorch 1.6以及在Jupyterlab中运行深度学习项目。在环境中遇到的问题，如权限错误和CUDA版本不匹配，通过使用pip安装解决。此外，还涉及到在Jupyter notebook中运行项目时所需的额外库安装，如sklearn和tensorboardX，以及如何在命令行启动run.py文件。

摘要由CSDN通过智能技术生成

Jupyter环境配置

先增加镜像源，否则报错

在远程实例中按Shift + 鼠标右键可以粘贴至Terminal
未增加镜像源

增加源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

先参考帮助文档完成以下步骤：

创建环境，安装ipkernel
激活环境
环境写入kernel
完成之后重启实例，会发现出现新环境

安装pytorch

实例中无法更新cuda，直接用conda安装cuda10.1对应的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

皮蛋秀柚啾

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Jupyter notebook在超算平台上使用的详细教程

Cloudam的博客

11-23

1660

Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。第五步，回到北鲲云控制台，上传所需文件，这里注意的是，一定要注意回到控制台上传，平台有文件同步功能，支持跨计算区同步文件。第四步，进入图形界面后，打开浏览器，输入localhost:8889,进入jupter notebook，这里可能需要等待10秒左右，等待后刷新后即可。富媒体格式包括：HTML，LaTeX，PNG，SVG等。第二步，选择图形界面并启动。

中国科技云·超算云BSCC-A5简明使用手册(1)-1.pdf

06-11

本文档是一份关于中国科技云·超算云BSCC-A5的简明使用手册，主要面向科技工作者和研究人员，旨在帮助他们有效利用云计算资源来执行高性能计算任务。手册内容涵盖了云计算的基本概念、BSCC-A5系统的资源配置、作业...

参与评论您还未登录，请先登录后发表或查看评论

超算平台使用(Win)

梦Dancing的博客

07-22

2087

超算平台使用(Win)

FromZero2DeepLearning:如何通过Jupyter Lab学习深度学习

03-13

FromZero2DeepLearning 如何通过Jupyter Lab学习深度学习

用超算平台跑深度学习模型【新用户赠送200元体验金】

qq_43313298的博客

05-08

2346

最近在训练YOLO模型，奈何自己的笔记本跑不起来，通过朋友介绍，才了解到北鲲云——一站式超算平台，跑深度模型真的很nice，最重要的是新用户免费赠送200元的体验金，赠送活动是有截止日期的，建议尽快领取方便后面使用。

anaconda中怎么sh_【好工具】 深度学习炼丹，你怎么能少了这款工具！JupyterLab 远程访问指南...

weixin_39726131的博客

11-25

217

欢迎来到【好工具】专栏，本次我们给介绍一款可以进行远程深度学习炼丹的工具 JupyterLab 及其配置流程，帮助读者在本地进行调试，Max 开发效率。作者 & 编辑 | Leong 导言不知道读者们有没有发现，如果你用 Anaconda 中的 Notebook 的话，有时想快速调试几行程序，这时打开 Notebook 每次都得好一会，而且会占用了不少的本地资源，这时要是有一个远程的 No...

IBM 发布首个深度学习类脑超级计算平台 IBM TrueNorth

weixin_34240520的博客

08-02

621

IBM TrueNorth。图片来源：federallabs.org IBM 日前发布了一款用于深度学习的类脑超级计算平台 IBM TrueNorth，其处理能力相当于 1600 万个神经元和 40 亿个神经键，消耗的能量只需 2.5 瓦。将低能耗的类脑处理器应用于深度学习无疑是未来大数据处理创新方法。劳伦斯·利弗莫尔国家实验室（LLNL）数据...

学校的在线平台（服务器上）使用jupyter记录

qq_38251389的博客

07-02

597

摘要：学校弄了一个智能平台，说是用来给学生谋福利的，但是不知道是不是刚建成，lj的一批，别的具体的就不说了，就记录一下这次的吧 · 刚开始的页面如图：一打开图形界面就是已经进入了jupyter，而且是只能在jupyter里操作，无法退出进入桌面（别的都能进入桌面，就这个环境不行），暂时没觉得有啥太大不妥，继续 · 运行程序该jupyter是默认只有python3，而且我记得应该是anaco...

基于深度学习的表格检测识别算法综述.pdf

08-18

基于深度学习技术的字符识别方法可以使用Convolutional Neural Networks (CNN) 对图像进行特征提取，然后使用Recurrent Neural Networks (RNN) 对文字进行识别。知识点6：表格数据集表格数据集是指用于训练和...

OpenStack私有云超详细学习讲义

最新发布

02-01

### OpenStack私有云超详细学习讲义 #### 一、理解Glance：Image Service的重要性及其实现原理 ##### 1.1 为什么需要Glance？ - **背景介绍**：在传统的IT环境中，安装操作系统或者应用程序往往需要从安装CD开始...

Slurm超算集群跑深度学习代码教程

weixin_43723625的博客

06-01

5420

参考教程 http://docs.hpc.whu.edu.cn/ 如果是校外操作，则需要通过easyconnect登陆集群专属VPN https://vpn.whu.edu.cn/ 1.连接超算使用支持 SSH 协议的客户端软件MobaXterm来登录超算 https://mobaxterm.mobatek.net/ 使用 SSH 客户端连接超算的登录节点 swarm.whu.edu.cn 用户存储与数据传输文件传输（SFTP 协议）服务器IP地址：202.114.96.177 anaconda

Tesra超算网络——AI训练深度学习平台，降低了AI开发的成本和门槛

weixin_33878457的博客

10-24

160

2019独角兽企业重金招聘Python工程师标准>>> ...

英特尔等推动深度学习与超级计算相融合

人工智能快报

09-17

402

【概要】英特尔和美国国家能源研究科学计算中心、斯坦福大学联合开发出一套深度学习系统，可在15 Petaflops的超级计算机上运行。机器学习是一种人工智能技术，在商业应用...

一直被喷不实用的超算在深度学习时代会改变吗？

weixin_34010949的博客

09-11

547

在中学课本里，我们都学到过“超级计算机”这个概念，在印象里它通常和神州五号、航空母舰等等高科技设备出现在同一个章节，属于国家科研能力的体现，更是在国际科技战备的赛点。现在这么多年过去了，一回神中国超级计算机的代表作已经从天河进化成了神威·太湖之光，并且通过对地震、海浪等等自然现象的精确模拟两次获得了戈登贝尔奖。据称，戈登贝尔奖是超算领域的最高奖项，在奖项评选标准中更多会考虑到超算项目的实际应用性。...

深入浅出：如何在超算平台上高效使用深度学习环境

染念的博客

08-22

2076

除了上面可能已经预置好的conda环境，我们也可以通过超算预置的或者自己在home目录安装minconda来自定义环境。最近，我发现如果你选择源码编译python包，最好自己安装一个minconda，使用集群的环境会有一些编译权限问题，导致安装失败！创建环境，建议python3.10,许多包也只有3.10版本在查询自己要安装的whl包，在选择DTK版本的时候，越新越好，这与英伟达约旧约好不一样。每次进入命令行，都要这样执行，如果觉得麻烦，可以把上面的命令统一写到文件里面，例如一个文件名为。

3 北京超算云计算平台深度学习环境配置笔记

qq_46385143的博客

02-04

1757

北京超算云计算平台深度学习环境配置

中国震惊超算界 ISC13华中科技大学HPL夺冠

兴风又作浪的专栏

11-14

2086

德国当地时间6月19日，ISC13国际大学生超级计算机竞赛在德国莱比锡闭幕，来自中国的华中科技大学参赛队夺得最高计算性能奖，并以8.455TFLOPS的成绩刷新了世界记录。南非高性能计算中心的学生队伍获得大赛总冠军，清华大学代表队也以不俗表现位列大赛综合分数排名榜第二名。这是继天河2号重夺TOP500榜首之后，中国在ISC13获得的第二个冠军。中国超级计算机在系统研制、应用发展和人才培养等方面的快

使用公有云快速搭建jupyter实验环境

Yale的博客

01-07

3640

搜索spawn.py并在get_args处新增如下一行。nano打开之后，在文件开头加入如下内容。然后在本地9999端口即可正常使用。安装npm和nodejs。安装jupyterlab。配置Jupyterhub。

超算云服务深度学习环境配置及使用方法

知识搬运者

04-26

3793

踩过的坑：如果输入module avail显示command module not found，则先输入source path/path/module.sh（一般这里路径会在连接服务器时有提示），再输入module avail。文件的配置模板如下：（编辑器，编辑脚本中第三行，将xxx改为实际用conda创建的虚拟环境名，最后一行python命令后xxx.py修改为自己的代码文件或完整命令即可）点击桌面SSH图标，显示当前账号可访问的云服务器，点击想要连接的服务器。jobid是指作业号，