【书生大模型实战营】入门岛 第1关 Linux基础知识

最新推荐文章于 2024-09-15 22:47:38 发布
最新推荐文章于 2024-09-15 22:47:38 发布
阅读量830 收藏 12
点赞数 8
分类专栏： 学习笔记 文章标签： linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39223177/article/details/141111883
版权

文章目录

【书生大模型实战营第三期】入门岛 第1关 Linux基础知识

学习任务

在这里插入图片描述

一、InternStudio开发机介绍

InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。
如果大家想了解更多关于InternStduio的介绍的话可以查看下面的文档：https://aicarrier.feishu.cn/wiki/GQ1Qwxb3UiQuewk8BVLcuyiEnHe

首先打开上面的链接进入InternStudio，在控制台界面进行操作，如下图所示：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
进入开发机后，开发机有三种模式可以选择：JupyterLab、终端和VScode
其中：

  1. JupyterLab：一个交互式的编程和教学环境，同时内置终端，可以很方便地查看文件，执行代码等
  2. 终端（Terminal， 最轻量级）：主要进行命令行操作，或者运行脚本和简单程序
  3. VSCode：网页中集成的VSCode，也可以在本地VSCode中通过SSH连接远程开发，下面就会讲如何配置远程连接。

二、SSH及端口映射

我们要了解什么是SSH、为什么使用远程连接、如何使用SSH远程连接开发机、什么是端口映射以及如何进行端口映射。

1. 什么是SSH？

SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。
SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。
那在后面的实践中我们会配置SSH密钥，配置密钥是为了当我们远程连接开发机时不用重复的输入密码，那为什么要进行远程连接呢？
远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。而且如果你需要跑一些本地的代码，又没有环境，那么远程连接就非常有必要了。

2. 如何使用SSH远程连接开发机？

2.1 使用密码进行SSH远程连接

首先我们使用输入密码的方式进行SSH远程连接，后面我们会讲如何配置免密登录。
当完成开发机的创建以后，我们需要打开自己电脑的powerShell终端，使用Win+R快捷键打开运行框，输入powerShell，打开powerShell终端。（如果你是Linux或者Mac操作系统，下面的步骤都是一样的）
我们回到开发机平台，进入开发机页面找到我们创建的开发机，点击SSH连接。
在这里插入图片描述
将复制的命令粘贴到powershell中，然后回车，这里我们需要输入密码，我们将登录命令下面的密码复制下来，然后粘贴到终端中，这里密码粘贴密码是不显示的，这是正常的。
最后回车出现以下内容就代表成功了：
在这里插入图片描述
在这里插入图片描述
当我们连接上开发机以后，可以使用hostname查看开发机名称，使用uname -a查看开发机内核信息，使用lsb_release -a查看开发机版本信息，使用nvidia-smi查看GPU的信息，这些命令我们后面都会讲到，如果想要退出远程连接，输入两次exit就可以了。

2.2 配置SSH密钥进行SSH远程连接（可选）

但是在我们开发学习的时候，每次远程都输入密码比较麻烦，我们可以设置SSH key来跳过输入密码这一步骤，在ssh命令中我们可以使用ssh-keygen命令来生成密钥
如果大家计算机的用户名是中文的，InternStudio会识别不了，这种情况就需要用密码来登录SSH，不过不影响使用，大家不用担心。
SSH密钥是一种安全便捷的登录认证方式，用于在SSH协议中进行身份验证和加密通信。
ssh-keygen支持RSA和DSA两种认证密钥。
常用参数包括：

  • -t：指定密钥类型，如dsa、ecdsa、ed25519、rsa。
  • -b：指定密钥长度。
  • -C：添加注释。
  • -f：指定保存密钥的文件名。
  • -i：读取未加密的ssh-v2兼容的私钥/公钥文件。
    这里我们使用RSA算法生成密钥，命令为：
    ssh-keygen -t rsa
    输入命令后一路回车就可以了，这里的密钥默认情况下是生成在/.ssh/目录下的，表示的是家目录，如果是windows就是C:\Users{your_username}\。在powerShell中可以使用Get-Content命令查看生成的密钥，如果是linux操作系统可以使用cat命令。
    在这里插入图片描述
    在这里插入图片描述
    此处用的就是cat命令

将刚刚生成的密钥复制下来，粘贴到公钥框中，名称会被自动识别到，最后点击立即添加，SSH Key就配置完成了。

在这里插入图片描述
完成SSH Key创建以后，重启终端进行远程连接，就会跳过密码输入这一步了。

2.3 使用VScode进行SSH远程连接

当然也可以使用SSH远程连接软件，例如：Windterm、Xterminal等。这里我们使用VScode进行远程连接，使用VScode的好处是，本身它就是代码编辑器，进行代码修改等操作时会非常方便。
如果要在VScode中进行远程连接，我们还需要安装一套插件，如何安装VScode大家可以网上搜索一下非常简单。

在这里插入图片描述

如果你已经安装好了VScode，可以在点击左侧的扩展页面，在搜索框中输入“SSH”，第一个就是我们要安装的插件，点开它“Install”就可以了。

在这里插入图片描述
安装完成插件以后，点击侧边栏的远程连接图标，在SSH中点击“+”按钮，添加开发机SSH连接的登录命令。
配置文件这一块默认就好，当然你也可以自定义，下面是配置文件的具体内容：（这里包括了你所有远程连接过的信息）
Host ssh.intern-ai.org.cn #主机ip也可以是域名
HostName ssh.intern-ai.org.cn #主机名
Port 37367 #主机的SSH端口
User root #登录SSH使用的用户
StrictHostKeyChecking no
UserKnownHostsFile /dev/null
后面的一些配置选项，如果想要手动添加就需要按照上面的格式对相应部分进行修改。
如果将StrictHostKeyChecking no和UserKnownHostsFile /dev/null删除掉会跳出指纹验证的弹窗：
[图片]
StrictHostKeyChecking no表示禁用严格的主机密钥检查。这意味着当连接到一个新的 SSH 服务器时，不会严格验证服务器的主机密钥，可能会带来一定的安全风险。
UserKnownHostsFile /dev/null则是将用户已知的主机密钥文件设置为 /dev/null ，这实质上是忽略了对已知主机密钥的记录和使用。
但是在一般的安全实践中，不建议随意禁用严格的主机密钥检查。
然后在右下角弹出来的提示窗口中点击“连接”就可以远程到开发机中了。

3. 端口映射

3.1 什么是端口映射？

端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。
那么我们使用开发机为什么要进行端口映射呢？
因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。
所以为了解决这个问题，我们需要对运行web_demo的连接进行端口映射，将外网链接映射到我们本地主机，我们使用本地连接访问，解决这个代理问题。下面让我们实践一下。

在这里插入图片描述

ssh -p 45831 root@ssh.intern-ai.org.cn -CNg -L {本地机器_PORT}:127.0.0.1:{开发机_PORT} -o StrictHostKeyChecking=no

在这里插入图片描述
个人PC会远程连接到开发机唯一暴露在外的37367端口，（这个在SSH的时候提到过每个人的开发机暴露的端口都不一样），并设置隧道选项。暴露端口是作为中转站进行流量的转发。

  • -C：启用压缩，减少传输数据量。
  • -N：不执行远程命令，只建立隧道。
  • -g：允许远程主机连接到本地转发的端口。
    当在个人PC上执行这个SSH命令后，SSH客户端会在本地机器的7860端口上监听。
    任何发送到本地7860端口的流量，都会被SSH隧道转发到远程服务器的127.0.0.1地址上的7860端口。
    这意味着，即使开发机的这个端口没有直接暴露给外部网络，我们也可以通过这个隧道安全地访问远程服务器上的服务。。

3.2 如何进行端口映射？

3.2.1 使用 ssh 命令进行端口映射

我们还是来到开发机界面，找到我们的开发机，点击自定义服务，复制第一条命令，
在这里插入图片描述
ssh -p 45831 root@ssh.intern-ai.org.cn -CNg -L {本地机器_PORT}:127.0.0.1:{开发机_PORT} -o StrictHostKeyChecking=no

下面给他大家介绍一下命令各部分的含义：

  • -p 37367：是指定 SSH 连接的端口为 37367，这个前面提到过。
  • root@ssh.intern-ai.org.cn：表示要以 root 用户身份连接到 ssh.intern-ai.org.cn 这个主机。
  • -CNg：
    • -C 通常用于启用压缩。
    • -N 表示不执行远程命令，仅建立连接用于端口转发等。
    • -g 允许远程主机连接到本地转发的端口。
  • -L {本地机器_PORT}:127.0.0.1:{开发机_PORT}：这是设置本地端口转发，将本地机器的指定端口（由 {本地机器_PORT} 表示）转发到远程主机（这里即 ssh.intern-ai.org.cn）的 127.0.0.1 （即本地回环地址）和指定的开发机端口（由 {开发机_PORT} 表示）。
  • -o StrictHostKeyChecking=no：关闭严格的主机密钥检查，这样可以避免第一次连接时因为未知主机密钥而产生的提示或错误。
    当你运行一个web demo的时候，就可以使用这个命令进行端口映射，举个例子：
    我们创建一个hello_world.py文件，在文件中填入以下内容：
    import socket
    import re
    import gradio as gr

获取主机名

def get_hostname():
hostname = socket.gethostname()
match = re.search(r’-(\d+)$', hostname)
name = match.group(1)

return name

创建 Gradio 界面

with gr.Blocks(gr.themes.Soft()) as demo:
html_code = f"“”



Logo


☁️ Welcome {get_hostname()} user, welcome to the ShuSheng LLM Practical Camp Course!


😀 Let’s go on a journey through ShuSheng Island together.




Logo

        """
gr.Markdown(html_code)

demo.launch()

在运行代码之前，需要先使用pip install gradio==4.29.0命令安装以下依赖包，然后在Web IDE的终端中运行了一个hello_world.py

在运行代码之前，需要先使用pip install gradio==4.29.0命令安装以下依赖包，然后在Web IDE的终端中运行了一个hello_world.py
如果不进行端口映射的话，使用本地IP是访问不了的

在这里插入图片描述

3.2.2 使用 vscode 进行端口映射

当然，如果我们运行不同的web ui的话，需要重复输入命令，这样很麻烦，这就需要用到VScode了。前面我们已经SSH远程连接了开发机，VScode提供了自动端口映射的功能，我们不需要手动配置，我们可以使用“Ctrl+Shift+~”快捷键唤醒终端，在终端的右侧可以找到端口选项：

三、Linux 基础命令

1. 文件管理

在 Linux 中，常见的文件管理操作包括：

  • 创建文件：可以使用 touch 命令创建空文件。
  • 创建目录：使用 mkdir 命令。
  • 目录切换：使用cd命令。
  • 显示所在目录：使用pwd命令。
  • 查看文件内容：如使用 cat 直接显示文件全部内容，more 和 less 可以分页查看。
  • 编辑文件：如 vi 或 vim 等编辑器。
  • 复制文件：用 cp 命令。
  • 创建文件链接：用ln命令。
  • 移动文件：通过 mv 命令。
  • 删除文件：使用 rm 命令。
  • 删除目录：rmdir（只能删除空目录）或 rm -r（可删除非空目录）。
  • 查找文件：可以用 find 命令。
  • 查看文件或目录的详细信息：使用ls命令，如使用 ls -l查看目录下文件的详细信息。
  • 处理文件：进行复杂的文件操作，可以使用sed命令。
    这里介绍几种我们在课程中会使用到的命令：
    1.1 touch
    我们可以使用touch快速的创建文件，这样我们不用手动点击进行创建了。例如我们要创建一个demo1.py文件:
    在这里插入图片描述

1.2 mkdir
同样的使用方法，如果要创建一个名为test1的目录：
[图片]

1.3 cd
这个命令会是使用最多的一个命令，在使用之前需要为没有计算机基础的同学讲一下目录结构，画一张图让大家理解：
在这里插入图片描述

我们现在使用的是root目录，也是root用户的家目录~，linux操作系统中/表示根目录，根目录下有许多系统所需的目录和文件，刚才我们创建的目录就存在与root目录下，其中.表示的是当前目录，…表示的上级目录。如果我现在要进入到test目录，然后回到root目录，我们可以这样操作：
1.4 pwd
我们可以使用pwd命令查看当前所在的目录：这样可以方便我们确定我们当前所在哪个目录下面。

1.5 cat
cat命令可以查看文件里面的内容，更多的使用命令可以使用–help命令查看：

  • -a，–show-all等价于-vET
  • -b，–number-non空白数非空输出行，覆盖-n
  • -e, 等价于-vE
  • -E，–show-结束显示$在每一行的末尾
  • -n，–number编号所有输出行
  • -s，–crick-空白抑制重复的空输出行
  • -t等价于-vT
  • -t，–show-tabs将制表符显示为^I
  • -v，–show非打印使用^和M-表示法，LFD和TAB除外
    1.6 vi or vim
    当我们需要编辑文件的时候可以使用vi或者vim命令，当你进入文件编辑以后，有三种模式：

在这里插入图片描述

进入编辑模式可以使用i，vim的方便之处就是可以在终端进行简单的文件修改。
1.7 cp 和 ln（重点）
cp命令在后面课程中会经常用到，它是用来将一个文件或者目录复制到另一个目录下的操作，常用的使用有：

  • 复制文件：cp 源文件 目标文件
  • 复制目录：cp -r 源目录 目标目录
    但是如果我们是要使用模型的话，这种操作会占用大量的磁盘空间，所以我们一般使用ln命令，这个就和windows的快捷方式一样。linux中链接分为两种 : 硬链接(hard link)与软链接(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。
    所以我们一般使用软连接，它的常用的使用方法如下：
    ln [参数][源文件或目录][目标文件或目录]
    参数如下：
    • -s：创建软链接（符号链接）也是最常用的；
    • -f：强制执行，覆盖已存在的目标文件；
    • -i：交互模式，文件存在则提示用户是否覆盖；
    • -n：把符号链接视为一般目录；
    • -v：显示详细的处理过程。
      1.8 mv 和 rm
      mv命令和rm命令的使用方式很相似，但是mv是用来移动文件或者目录的，同时还可以进行重命名。rm命令则是用来删除文件或者目录的。
      常用的使用方法如下：
  • mv 命令：
    常用参数：
    • -i：交互模式，覆盖前询问。
    • -f：强制覆盖。
    • -u：只在源文件比目标文件新时才进行移动。
      使用示例：
    • mv file1.txt dir1/：将文件 file1.txt 移动到目录 dir1 中。
    • mv file1.txt file2.txt：将文件 file1.txt 重命名为 file2.txt。
  • rm 命令：
    常用参数：
    • -i：交互模式，删除前询问。
    • -f：强制删除，忽略不存在的文件，不提示确认。
    • -r：递归删除目录及其内容。
      使用示例：
    • rm file.txt：删除文件 file.txt。
    • rm -r dir1/：递归删除目录 dir1 及其所有内容。
      删除目录的命令也可以使用rmdir。
      1.9 find
      find命令是Linux系统中一个强大的文件搜索工具，它可以在指定的目录及其子目录中查找符合条件的文件或目录，并执行相应的操作。
      以下是find命令的一些常见用法：
    1. 按文件名查找：使用-name选项按照文件名查找文件。例如，find /path/to/directory -name "file.txt"将在指定目录及其子目录中查找名为file.txt的文件。
    2. 按文件类型查找：使用-type选项按照文件类型查找文件。例如，find /path/to/directory -type f将查找指定目录及其子目录中的所有普通文件。
    3. 按文件大小查找：使用-size选项按照文件大小查找文件。例如，find /path/to/directory -size +100M将查找指定目录及其子目录中大于100MB的文件。
    4. 按修改时间查找：使用-mtime、-atime或-ctime选项按照文件的修改时间、访问时间或状态更改时间查找文件。例如，find /path/to/directory -mtime -7将查找指定目录及其子目录中在7天内修改过的文件。
    5. 按文件权限查找：使用-perm选项按照文件权限查找文件。例如，find /path/to/directory -perm 755将查找指定目录及其子目录中权限为755的文件。
    6. 按用户或组查找：使用-user或-group选项按照文件的所有者或所属组查找文件。例如，find /path/to/directory -user username将查找指定目录及其子目录中属于用户username的文件。
    7. 执行操作：使用-exec选项可以对找到的文件执行相应的操作。例如，find /path/to/directory -name “*.txt” -exec rm {} ;将删除找到的所有以.txt结尾的文件。
      1.10 ls
      ls命令可以用来列出目录的内容以及详细信息。
      常用参数及使用方法如下：
  • -a：显示所有文件和目录，包括隐藏文件（以.开头的文件或目录）。
  • -l：以长格式显示详细信息，包括文件权限、所有者、大小、修改时间等。
  • -h：与-l结合使用，以人类可读的方式显示文件大小（如K、M、G等）。
  • -R：递归列出子目录的内容。
  • -t：按文件修改时间排序显示。
    在这里插入图片描述

1.11 sed
sed命令是一种流编辑器，主要用于文本处理，在处理复杂的文件操作时经常用到，在后续的课程中会使用到，sed命令常用参数及使用示例如下：

  • 参数说明：
    • -e

grep是一个强大的文本搜索工具。常用参数如下：

  • -i：忽略大小写进行搜索。
  • -v：反转匹配，即显示不匹配的行。
  • -n：显示行号。
  • -c：统计匹配的行数。
  1. 进程管理
    进程管理命令是进行系统监控和进程管理时的重要工具，常用的进程管理命令有以下几种：
  • ps：查看正在运行的进程
  • top：动态显示正在运行的进程
  • pstree：树状查看正在运行的进程
  • pgrep：用于查找进程
  • nice：更改进程的优先级
  • jobs：显示进程的相关信息
  • bg 和 fg：将进程调入后台
  • kill：杀死进程
    在开发机中还有一条特殊的命令nvidia-smi，它是 NVIDIA 系统管理接口（NVIDIA System Management Interface）的命令行工具，用于监控和管理 NVIDIA GPU 设备。它提供了一种快速查看 GPU 状态、使用情况、温度、内存使用情况、电源使用情况以及运行在 GPU 上的进程等信息的方法。
    下面是关于各个命令使用示例：
  • ps：列出当前系统中的进程。使用不同的选项可以显示不同的进程信息，例如：
    ps aux # 显示系统所有进程的详细信息
  • top：动态显示系统中进程的状态。它会实时更新进程列表，显示CPU和内存使用率最高的进程。
    top # 启动top命令，动态显示进程信息
  • pstree：以树状图的形式显示当前运行的进程及其父子关系。
    pstree # 显示进程树
  • pgrep：查找匹配条件的进程。可以根据进程名、用户等条件查找进程。
    pgrep -u username # 查找特定用户的所有进程
  • nice：更改进程的优先级。nice 值越低，进程优先级越高。
    nice -n 10 long-running-command # 以较低优先级运行一个长时间运行的命令
  • jobs：显示当前终端会话中的作业列表，包括后台运行的进程。
    jobs # 列出当前会话的后台作业
  • bg 和 fg：bg 将挂起的进程放到后台运行，fg 将后台进程调回前台运行。
    bg # 将最近一个挂起的作业放到后台运行
    fg # 将后台作业调到前台运行
  • kill：发送信号到指定的进程，通常用于杀死进程。
    kill PID # 杀死指定的进程ID
    注意，kill 命令默认发送 SIGTERM 信号，如果进程没有响应，可以使用-9使用SIGKILL 信号强制杀死进程：
    kill -9 PID # 强制杀死进程
    SIGTERM（Signal Termination）信号是Unix和类Unix操作系统中用于请求进程终止的标准信号。当系统或用户想要优雅地关闭一个进程时，通常会发送这个信号。与SIGKILL信号不同，SIGTERM信号可以被进程捕获并处理，从而允许进程在退出前进行清理工作。（来源于网络）
    以下是 nvidia-smi 命令的一些基本命令用法：
  • 显示 GPU 状态的摘要信息：
    nvidia-smi
  • 显示详细的 GPU 状态信息：
    nvidia-smi -l 1
    这个命令会每1秒更新一次状态信息。
  • 显示 GPU 的帮助信息：
    nvidia-smi -h
  • 列出所有 GPU 并显示它们的 PID 和进程名称：
    nvidia-smi pmon
  • 强制结束指定的 GPU 进程：
    nvidia-smi --id=0 --ex_pid=12345
    这会强制结束 GPU ID 为 0 上的 PID 为 12345 的进程。
  • 设置 GPU 性能模式：
    nvidia-smi -pm 1
    nvidia-smi -i 0 -pm 1
    第一个命令会为所有 GPU 设置为性能模式，第二个命令只针对 ID 为 0 的 GPU。
  • 重启 GPU：
    nvidia-smi --id=0 -r
    这会重启 ID 为 0 的 GPU。
    在这里插入图片描述
    3.3工具
    这里介绍一个工具TMUX，TMUX 是一个终端多路复用器。它可以在多个终端之间轻松切换，分离它们（这不会杀死终端，它们继续在后台运行）和将它们重新连接到其他终端中。

为什么要介绍这个工具呢？因为在后面进行Xtuner微调模型的时候，时间会很长，使用Tmux可以解决程序被杀死中断的情况
具体使用参考：https://www.ruanyifeng.com/blog/2019/10/tmux.html
想退出tmux可以使用Ctrl+d快捷键

4、conda&shell介绍
4.1添加conda源
#设置清华镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

如果我们想要查看conda的配置信息可以使用conda config --show命令

4.2创建虚拟环境
conda create -n name numpy
命令常用参数：

-n 或 --name：指定要创建的环境名称。
-c 或 --channel：指定额外的软件包通道。
–clone：从现有的环境克隆来创建新环境。
-p 或 --prefix：指定环境的安装路径（非默认位置）。

4.3导出与还原环境

获得环境中的所有配置

conda env export --name myenv > myenv.yml

重新还原环境

conda env create -f myenv.yml

4.4pip&conda

  1. conda可以管理非python包，pip只能管理python包。
  2. conda可以用来创建虚拟环境，pip不能，需要依赖virtualenv之类的包。
  3. conda安装的包是编译好的二进制文件，安装包文件过程中会自动安装依赖包；pip安装的包是wheel或源码，装过程中不会去支持python语言之外的依赖项。
  4. conda安装的包会统一下载到当前虚拟环境对应的目录下，下载一次多次安装。pip是直接下载到对应环境中。

Wheel 是一种 Python 安装包的格式。它是一种预编译的二进制分发格式，类似于 conda 中的已编译二进制文件。

Wheel 格式的主要优点包括：

安装速度快：因为已经进行了预编译，所以在安装时不需要像源码安装那样进行编译过程，节省了时间。

一致性：确保在不同的系统和环境中安装的结果是一致的。

例如，如果您要安装一个大型的 Python 库，使用 Wheel 格式可以避免在不同的机器上因为编译环境的差异而导致的安装问题。而且，对于那些没有编译环境或者编译能力较弱的系统，Wheel 格式能够让安装过程更加顺畅。

4.5conda环境导出与还原
创建test.sh脚本并赋予可执行权限，写入以下内容

#!/bin/bash

定义导出环境的函数

export_env() {
local env_name=$1
echo “正在导出环境: KaTeX parse error: Expected 'EOF', got '#' at position 15: env_name" #̲ 导出环境到当前目录下的env…env_name” > “$env_name.yml”
echo “环境导出完成。”
}

定义还原环境的函数

restore_env() {
local env_name=$1
echo “正在还原环境: KaTeX parse error: Expected 'EOF', got '#' at position 15: env_name" #̲ 从当前目录下的env_nam…env_name” -f “$env_name.yml”
echo “环境还原完成。”
}

检查是否有足够的参数

if [ $# -ne 2 ]; then
echo “使用方法: $0 <操作> <环境名>”
echo “操作可以是 ‘export’ 或 ‘restore’”
exit 1
fi

根据参数执行操作

case “$1” in
export)
export_env “$2”
;;
restore)
restore_env “$2”
;;
*)
echo “未知操作: $1”
exit 1
;;
esac

使用./test.sh restore xtuner0.1.17，restore是默认参数，后面是环境名称

4.6shell
Shell 脚本 是一种包含一系列命令的文本文件，这些命令按照特定的顺序排列，用于在 Unix/Linux 或类似的操作系统环境中自动执行任务。

Shell 脚本通常使用 Shell 语言编写，常见的 Shell 语言如 Bash、Sh 等，就是我们前面所介绍了Linux基础命令，这就属于Shell语言。

它有以下几个重要特点：

自动化：可以将一系列重复、复杂的操作编写为一个脚本，然后只需运行脚本即可自动完成这些操作，从而节省时间和减少错误。例如，每天定时备份重要文件的脚本。

系统管理：用于管理系统配置、用户权限、进程控制等。比如，创建新用户并设置其权限的脚本。

批处理：能够同时处理多个文件或数据。例如，将一批图片文件从一种格式转换为另一种格式的脚本。

流程控制：像条件判断（if-else）、循环（for、while）等，使脚本能够根据不同的情况执行不同的操作。

心得

是一个学习基础的过程，因为之前有事，只能在最后时期来学习，但是学习的过程非常有益，值得学习！

jessIoss
关注
专栏目录
书生大模型实战营闯关 - 入门岛 - Python
nachtmusik的博客
07-29 881
选择debug config时选择remote attach就行，随后会让我们选择debug server的地址，因为我们是在本地debug，所以全都保持默认直接回车就可以了，也就是我们的server地址为localhost:5678。开发机的链接命令可以在开发机控制台对应开发机"SSH连接"找到，复制登录命令到vscode的弹窗中然后回车，vscode就会开始链接InternStudio的服务器，记得此时切回去复制一下ssh的密码，待会会用到。配置完以后会打开配置的json文件，但这不是重点，可以关掉。
书生大模型实战训练营（入门岛）python + internstudio
weixin_47448638的博客
07-25 737
书生大模型（入门岛）python + internstudio
书生大模型实战营（第3期）入门岛第1关Linux基础知识
aman_he的博客
07-31 738
书生大模型入门岛linux基础知识闯关
第三期书生大模型实战营 第1关 Linux 基础知识
wux_labs的博客
07-10 1266
Hello大家好，这里是第三期书生大模型实战营，闯关地图入门岛的第1关 Linux 基础知识。我们将学会InternStudio开发机创建、配置远程连接、使用本地VSCode连接到开发机、创建脚本、创建虚拟环境、运行脚本等。让我们开始吧~
书生大模型实战营第三期 入门岛 第1关 Linux基础知识
小和尚的开发空间
08-09 148
在web ide中创建hello_world.py。用powershell创建rsa密钥。创建开发机并创建一个conda环境。在本地浏览器中打开映射端口页面。Vscode安装ssh插件。将开发机端口转发到本地端口。实现免密登录root账户。运行python文件。
【书生大模型实战营第三期 | 入门岛第1关-Linux基础知识】
imath60的博客
08-02 382
云端算力平台的概念InternStudio的特点和优势Conda的设置和环境管理Conda与pip的区别和使用场景Shell的基本使用通过本教程的学习，我认识到了掌握Linux基础知识对于开发者的重要性。InternStudio作为一个强大的云端开发平台，极大地方便了开发者的远程工作需求。SSH和端口映射技术的学习，让我能够安全高效地进行远程开发和资源访问。Linux命令的学习，增强了我处理文件和进程的能力，而Conda环境管理的学习则提高了我的开发效率和软件包管理的灵活性。
书生大模型实战营-入门岛-第1关-Linux基础知识
m0_62025408的博客
07-20 418
其中“-n”指设置环境名称，将“name”替换为你需要设置的环境名即可，结尾处的“python=3.10”用于设置python版本，如不指定则使用最新的版本。在平台中已经给出了SSH连接的相关连接代码和对应的密码，在windows端，可以直接使用PowerShell,在其中输入代码和对应的密码，可以完成链接。此外，建议使用vscode进行连接，安装“Remote - SSH”扩展，并在左侧TAB栏完成相应的链接，即可完成SSH链接。利用给出的邀请码注册新的InternStudio平台，并创建新的开发机。
书生大模型实战营（第3期）入门岛第2关Python基础知识
aman_he的博客
08-01 837
书生大模型实战营（第3期）入门岛第2关Python基础知识
书生大模型实战营第三关浦语提示词工程实践
08-09
书生大模型实战营第三关浦语提示词工程实践
大模型-书生训练营第三期闯关指南-linux
07-19
大模型-书生训练营第三期闯关指南-linux
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
08-10
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
书生大模型实战营-入门关卡-Linux 前置基础
微风❤水墨
08-07 89
任务：Tutorial/docs/L0/Linux at camp3 · InternLM/Tutorial · GitHub完成：
【LINUX】SHELL贪吃蛇
09-11 490
Show()#Mapdo;;;esacdone#Snakefor ((i=0;i++))doecho "*"done#Foodecho "0"dodoneMove();;;;esacArrayMovethenthenthenthenfithen。
【Linux】：信号与信号产生
Yikefore的博客
09-12 882
信号的基本概念、对信号的理解、信号的多种产生方式以及核心转储的详细介绍！
Linux FTP服务问题排查
最新发布
09-15 317
最近linux虚拟机重启之后发现，FTP服务总是不正常，工具无法连接。
【Linux】ldd常见问题
zclinux的博客
09-11 1004
当你自己编译程序时，可以通过。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值