Auto DL的使用(自用）

最新推荐文章于 2025-04-07 18:05:54 发布
最新推荐文章于 2025-04-07 18:05:54 发布
阅读量2.5k 收藏 2
点赞数 1
分类专栏： 人工智能平台 文章标签： 人工智能 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yansl072516/article/details/125523120
版权

Auto DL的使用

SHH

1.SSH（Secure Shell，安全外壳）

  • 是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。传统远程登录或文件传输方式，例如Telnet、FTP，使用明文传输数据，存在很多的安全隐患。
  • SSH协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的登录和其他安全网络服务。

2.SSH是如何工作的？

  • 连接建立：SSH服务器在指定的端口侦听客户端的连接请求，在客户端向服务器发起连接请求后，双方建立一个TCP连接。

  • 版本协商：SSH协议目前存在SSH1.X（SSH2.0之前的版本）和SSH2.0版本。SSH2.0协议相比SSH1.X协议来说，在结构上做了扩展，可以支持更多的认证方法和密钥交换方法，同时提高了服务能力。SSH服务器和客户端通过协商确定最终使用的SSH版本号。

  • 算法协商：SSH支持多种加密算法，双方根据各自支持的算法，协商出最终用于产生会话密钥的密钥交换算法、用于数据信息加密的加密算法、用于进行数字签名和认证的公钥算法以及用于数据完整性保护的HMAC算法。

  • 密钥交换：服务器和客户端通过密钥交换算法，动态生成共享的会话密钥和会话ID，建立加密通道。会话密钥主要用于后续数据传输的加密，会话ID用于在认证过程中标识该SSH连接。

  • 用户认证：SSH客户端向服务器端发起认证请求，服务器端对客户端进行认证。SSH支持以下几种认证方式：

    • 密码（password）认证：客户端通过用户名和密码的方式进行认证，将加密后的用户名和密码发送给服务器，服务器解密后与本地保存的用户名和密码进行对比，并向客户端返回认证成功或失败的消息。
    • 密钥（publickey）认证：客户端通过用户名，公钥以及公钥算法等信息来与服务器进行认证。
    • password-publickey认证：指用户需要同时满足密码认证和密钥认证才能登录。
    • all认证：只要满足密码认证和密钥认证其中一种即可。

  • 会话请求：认证通过后，SSH客户端向服务器端发送会话请求，请求服务器提供某种类型的服务，即请求与服务器建立相应的会话。

  • 会话交互：会话建立后，SSH服务器端和客户端在该会话上进行数据信息的交互。

3.SSH端口号是什么？

  • 当SSH应用于STelnet，SFTP以及SCP时，使用的默认SSH端口都是22。当SSH应用于NETCONF时，可以指定SSH端口是22或者830。SSH端口支持修改，更改后当前所有的连接都会断开，SSH服务器开始侦听新的端口。

Xshell

1.Xshell用途

  • Xshell是一款功能强大且安全的终端模拟器，可以通过Xshell来查看Ngix的日志、php-fpm日志、和mysql日志（慢查询日志）等，这个是基于ssh协议的登录工具，可以通过命令行接口登录到服务器上面。
  • Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的，通俗来讲就是远程操控。
  • 实际上XShell是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。不仅如此，xShell有自己的编程语言用于对命令的编辑，它允许用户编写由shell命令组成的程序。xShell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编写的xShell程序与其他应用程序具有同样的效果。

screen Linux神器 - 终端

1.背景

  • 系统管理员经常使用SSH或Telent远程登录到Liunx服务器，运行一些需要很长时间才能完成的任务。例如，用xshell登录服务器开启jupyter notebook服务供我们远程写代码，通常情况下我们都是为每一个这样的任务开一个远程终端窗口。因为他们执行的时间太长，就必须等待他们执行完，如果在此期间关掉窗口或者断开连接，一切都半途而废。
  • 即使关闭xshell，有了Screen，我们的Notebook服务一样不会中断。
  • Screen还提供了多窗口和会话共享[Screen可以让一个或多个用户从不同终端多次登录一个会话，并共享会话的所有特性（比如可以看到完全相同的输出）。它同时提供了窗口访问权限的机制，可以对窗口进行密码保护。]

最常用的终端工具 tmux

1.背景

  • 类似Screen的工具，能够在终端出现意外的情况下，确保你的程序还在执行，不会中断，还能将一个终端窗口分离成多个会话，在任务执行时，可以提供很大的便利。

Jupyterlab 数据分析必备IDE完全指南

简介

  • JupyterLab 是 Jupyter 团队为 Jupyter 项目开发的下一代基于 Web 的界面。相对于 Jupyter Notebook，它的集成性更强，更灵活并且更易扩展。它支持100种多种语言，支持多种文档相互集成，实现了交互式计算的新工作流程^1。

  • 如果说 Jupyter Notebook 像是一个交互式的笔记本，那么 Jupyter Lab 更像是一个交互式的 VSCode。另外，JupyterLab 非常强大的一点是，你可以将它部署在云服务器，不管是电脑、平板还是手机，都只需一个浏览器，即可远程访问使用。

  • 使用 JupyterLab，你可以进行数据分析相关的工作，可以进行交互式编程，可以学习社区中丰富的 Notebook 资料。

类型

JupyterLab 中有如下的 block 类型：

  • Notebooks 笔记本，同Jupyter Notebook
  • File browser 文件浏览器
  • Terminal 终端
  • Text Editor 文件编辑器
  • Kernels 内核
  • Output 输出

Notebook 基本功能

JupyterLab 中的 Notebook 和 Jupyter Notebook 中的使用方法一样。

Cell 类型

  • 每一个 Notebook 就是一个kernel，在其中可以包含多个 cell。

  • Cell 的类型有三种，分别为：markdown，code 和 row。

  • 运行 cell 的快捷键是：shift + command，大概会你用到最多次的一个快捷键。

  • 选择 cell 之后，点击空白处，按下m键，代表转为markdown cell，y键代表转为code cell，同理r键代表转为row cell。

自动补全

与大多数本地 IDE 相同，输入部分代码之后按 tab 键，即可自动补全。Jupyter Lab 中的自动补全显示比之前 Jupyter Notebook 的要友好，通过不同的颜色和图标。显示出了补全的类型。

问号查看详细文档

在函数或变量等后面添加一个问号(?)，执行之后，即可查看对应的详细文档:

使用两个问号(??)，会显示详细源代码信息：

Magic Code

IPython的一些特殊命令（不是内置于 Python 本身）被称为“魔术”命令。魔术命令是以百分号％为前缀的任何命令。

%matplotlib

最常用的魔法命令，大概就是 %matplotlib了。它用于指定 matplotlib 的后端(backend)。通常我们使用：

%matplotlib inline

代表使用 inline作为后端，直接在 Notebook 中内嵌图片，并且可以省略掉 plt.show() 这一步骤。

％timeit

％timeit 函数检查任何 Python 语句的执行时间，例如：

img

%run

你可以使用 %run 命令，在Notebook中运行任意的Python文件。例如：

%run add.py

还有其他一些常用命令，例如 %debug、%load_ext 和 %pwd，完整命令可以参考页面。

此外，如想要回到原来的Jupyter Notebook 也是可以的，只需要将链接后面的 Lab 改为 Tree。

知乎搬运

利器|JupyterLab 数据分析必备IDE完全指南 - 知乎 (zhihu.com)

mv: cannot move ‘test_dir/’ to a subdirectory of itself, ‘test_dir/test_dir’

ssh root@region-7.autodl.com 31398

→/tmp/pycharm_project_322

AttributeError: ‘DatasetIterater’ object has no attribute ‘index’

bash: cd…: command not found
root@container-1ec411886c-96679678:~/d# cd …
root@container-1ec411886c-96679678:~# cd /bertclass
bash: cd: /bertclass: No such file or directory
root@container-1ec411886c-96679678:~# pwd
/root
root@container-1ec411886c-96679678:~# cd /bertclass2
bash: cd: /bertclass2: No such file or directory
root@container-1ec411886c-96679678:~# cd bertclass2
root@container-1ec411886c-96679678:~/bertclass2# cd …
root@container-1ec411886c-96679678:~# cd bertclass
root@container-1ec411886c-96679678:~/bertclass# cd Bert-Chinese-Text-Classification-Pytorch-master
root@container-1ec411886c-96679678:~/bertclass/Bert-Chinese-Text-Classification-Pytorch-master# python run.py --model bert

Traceback (most recent call last):
File “run.py”, line 37, in
train(config, model, train_iter, dev_iter, test_iter)
File “/root/bertclass/Bert-Chinese-Text-Classification-Pytorch-master/train_eval.py”, line 66, in train
for i, (trains, labels) in enumerate(train_iter):#trains是(x, seq_len, mask)的tuple组合，作为输入的x
File “/root/bertclass/Bert-Chinese-Text-Classification-Pytorch-master/utils.py”, line 72, in next
if self.residue and self.index == self.n_batches:#剩下那一部分没法归为一个正好的batch
AttributeError: ‘DatasetIterater’ object has no attribute ‘index’
root@container-1ec411886c-96679678:~/bertclass/Bert-Chinese-Text-Classification-Pytorch-master#

vscode 自用样式分享（基于Pie）
RP123123123的博客
06-22 1608
如何在 vscode 使用自用的markdown样式： https://blog.csdn.net/RP123123123/article/details/118110733 预览： CSS主样式 @include-when-export url('https://fonts.googleapis.com/css2?family=Roboto+Mono&family=Source+Sans+Pro&display=swap'); /* cyrillic-ext */ @font-fac
使用nginx-quic支持HTTP/3
tinychen
03-01 4483
本文主要介绍使用nginx-quic和boringssl项目来对服务器进行升级支持HTTP/3协议。 1、背景介绍 nginx官方从1.19版本开始，新建立了一个分支，专门用来对QUIC进行支持，官网的链接点这里。注意该项目还处于早期的alpha版本，非常不建议用于生产环境。 The code is at an early alpha level of quality and should not be used in production. nginx-quic的安装包可以在下面这里找到，由于还处于
用云服务器运行深度学习代码详细教程（Auto DL）
qq_72436205的博客
12-17 1233
复制登录指令，指令格式通常如下：ssh -p 2***** root@connect.westc.gpuhub.com，其中主机填connect.westc.gpuhub.com，端口填2*****，用户名填root。4.之后点击工具，一般情况下会自动上传项目到刚刚设置的服务器的文件夹中，如果没有，就点击部署，把项目手动上传上去，之后启动ssh会话，就可以操作服务器了，其余与在本地操作相同。打开设置，选择SSH配置，点击新建 ，之后再auto dl上打开控制台，点击容器实例，选择刚刚创建好的容器，开机。
Auto-DL:Auto-DL 可帮助您制作深度学习模型，而无需编写一行代码并尽可能少地提供输入
07-23
发电机 Auto-DL 的接口部分分别包含基于 React 和 Django Rest Framework 的前后端服务器。 后端根据收到的请求调用 。 Generator 将 DLMML 作为子模块。 演示 设置 安装所有必要的库和二进制文件 sudo ./scripts/install.sh 按照在本地运行BackEndApp和FrontEndApp ，或者让它 RIP！ ./scripts/run.sh # or you can pass --install to perform both step 1 and 2 ./scripts/run.sh --install 怎么跑 # clone the repo git clone https://github.com/Auto-DL/Generator.git git submodule init git submodule
autodl文件传输技巧
最新发布
2302_80777118的博客
04-07 608
从本地上传文件到远程主机上。
Generator:Auto-DL可帮助您创建深度学习模型，而无需编写任何代码，也无需提供尽可能少的输入
04-29
发电机 Auto-DL的接口部分包含分别基于React和Django Rest Framework的前端和后端服务器。 后端根据其收到的请求调用 。 生成器将DLMML作为子模块。 演示版 怎么跑 # clone the repo git clone https://github.com/Auto-DL/Generator.git git submodule init git submodule update 激活您的环境（不是必需的，但强烈建议这样做）。 # install the requirements, this might take some time, be patient pip install -r requirements.txt # If you think your machine can handle a simulatenous installation
Auto-DL：未来深度学习模型的构建方式
gitblog_00512的博客
09-14 396
Auto-DL：未来深度学习模型的构建方式 Auto-DL Auto-DL helps you make Deep Learning models without writing a single line of code and giving as little input as possible. ...
【AutoDL】服务器配置、Xftp数据传输及PyCharm连接
闪闪发光的博客
04-25 2万+
Bash (GNU Bourne-Again Shell) 是许多Linux发行版的默认Shell，是Bourne shell的后继兼容版本与开放源代码版本，它的名称来自Bourne shell（sh）的一个双关语（Bourne again / born again）：Bourne-Again SHell。因此就可以将我们的程序放在screen的会话中执行，然后离开会话，等我们需要看日志时再恢复到这个会话中。之前的步骤都是无卡开机模式，而为了验证环境已经配置完成，需要关机，再直接开机，这次不是无卡开机。
Auto DL 平台租服务器（GPU）跑代码（炼丹）使用教程，告别繁琐的SSH，平台自带的Jpyter用网页就能实现
weixin_52449030的博客
03-26 1万+
详细介绍了怎么在Auto DL这个租服务器（GPU）平台上训练模型的方法，包括环境配置、文件解压、让模型在后台运行等等。
README
vekrio的博客
10-25 3330
stu linux学习 1:centos7查看版本信息 登陆root帐户，输入 cat /etc/redhat-release，即可显示系统版本 输入 uname -r ，可以查询内核版本 输入 df -h，可以查看各分区的使用情况。其中，从左到右各列的内容依次是： 文件系统、总大小、已使用大小、剩余大小、使用率、挂载点。 输入du -sh，则可以查...
CSS+HTML知识点总结
ErMengmengmeng的博客
05-23 824
CSS+HTML知识点总结 二级目录 三级目录 文档声明（doctype） 文档声明用来告诉浏览器当前网页的版本。 <!doctype html> <!Doctype HTML> 这两种形式都表示下面写的网页是html5的版本，大小写都可以 字符编码 ** 编码** 将字符转换为二进制码的过程 ** 解码** 将二进制转换为字符的过程 ** 字符集（chartset）**...
百度AutoDL「自动深度学习: 理论、算法、平台和应用」【附132页ppt】.zip
02-05
百度研究院大数据实验室窦德景博士等人给了关于自动深度学习的教程包括AutoDL的理论、算法、平台和应用，共132PPT，涵盖神经架构搜索、迁移学习和元学习，以及深度学习模型压缩。该教程将包括对最先进的算法和系统的全面调研。是了解工业界学术界的最好自动深度资料。
html+css知识点复习回顾，复习参考
weixin_55935744的博客
11-28 1353
这里写自定义目录标题一、HTML部分1、两个盒子2、图像标签3、相对路径和绝对路径4、超链接标签5、表格标签6、列表标签7、表单标签8、HTML5新特性二、CSS部分1、CSS选择器2、CSS字体属性3、CSS文本属性4、CSS引入方式5、CSS的元素显示模式6、CSS的背景样式7、CSS三大特性8、盒子模型9、传统网页布局的三种方式10、CSS属性书写顺序（规范代码）11、元素的显示与隐藏12、CSS高级技巧13、CSS3新特性 一、HTML部分 1、两个盒子 <div>、<span&g
AUTODL部署structgan
weixin_65750743的博客
06-03 1253
运行清华陆新征课题组StructGAN Github库（https://github.com/wenjie-liao/StructGAN_v1/tree/master?tab=readme-ov-file）
AutoDL使用
abccbatqw的博客
04-19 2071
然后回到容器实例，点击无卡模式开机。开机后配置环境，环境配置好后再用GPU开机。选择镜像后点击立即创建。
Autodl使用教程
热门推荐
AllenMa的博客
05-11 4万+
目录 1.打开autodl官网，注册后，新建一个实例 2.上传代码文件和dataset 3.运行自己的代码 教程需要用到：xftp,xshell,jupyter 1.打开autodl官网，注册后，新建一个实例 新建实例的时候，会让你选择一个预安装的框架版本，这里我的选择如下 2.上传代码文件和dataset 这里我选择用xshell登录，可以上传自己的文件代码 上图中有登录指令，按照安装文档AutoDL帮助文档的方法，在xshell输入： 复制登录指...
AutoDL使用教程
风也温柔☆的博客
07-12 8323
AutoDl是一个租用GPU显卡的平台，我们可以在上面租用显卡。我训练模型的时候租用了一块V100。下面介绍一下使用AutoDL 来租用GPU显卡，并将自己的代码上传，运行代码。运行代码命令： pytorch xxx.py。如何创建pytorch环境，请参考。二、配置环境 pytorch环境。2.容器实例——租用新实例。三、上传文件+运行代码。3.租用成功后的界面。
AutoDL使用心得
m0_51951660的博客
11-14 1423
注册登录账号后，即可在算力市场#AutoDL #GPU #租显卡。#AutoDL #GPU #租显卡。配置环境后即可开始炼丹。
auto dl无法建立连接
02-22
### Auto DL 无法建立连接的问题解决方案 当遇到Auto DL无法建立连接的情况时，可能涉及多个方面的原因。通常可以从以下几个角度来排查和解决问题： #### 1. 检查网络配置 确保设备能够正常访问互联网是首要条件之一。如果是在无线环境下工作，则需确认Wi-Fi已成功连接，并且可以稳定地浏览网页或其他在线服务[^3]。 #### 2. 验证依赖环境和服务状态 对于基于特定平台或框架运行的应用程序来说，某些必要的后台进程、端口开放情况或是第三方API接口的状态都可能是影响因素。例如，在MySQL环境中部署应用前要保证数据库已经正确启动并且监听着相应的TCP/IP端口[^2]。 #### 3. 浏览器兼容性和页面加载行为调整 虽然此案例主要针对的是自动化下载工具而非Web界面交互，但如果涉及到通过HTTP(S)协议获取资源文件的操作流程里包含了HTML/CSS/JavaScript渲染环节的话，那么不同版本间存在的差异也可能引发意想不到的结果。因此适当简化请求头信息中的User-Agent字段内容或者尝试更换其他类型的客户端模拟方式可能会有所帮助[^1]。 ```bash # 使用curl命令测试目标URL是否可访问 curl -I http://example.com/resource/path ``` #### 4. 日志分析与错误追踪 查看应用程序日志记录是最直接有效的手段之一。大多数情况下，详细的报错描述会给出关于失败原因的重要线索。关注最近一次发生异常的时间戳附近的信息片段，特别是那些带有警告级别以上的消息条目。 ```python import logging logging.basicConfig(level=logging.DEBUG, filename='app.log') logger = logging.getLogger(__name__) try: # 尝试执行可能导致异常的任务... except Exception as e: logger.exception("An error occurred during auto download process.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值