- 博客(9)
- 收藏
- 关注
RSS订阅原创 服务器配置miniconda+cudatookit+pytorch训练ChatGLM-6B微调
一路回车和输入yes, 安装结束需要关闭xshell窗口断开连接, 重新连接服务器之后再shell之前会显示(base)环境, 表示当前在conda的base环境下, 也可以使用下面的方式检查安装是否成功。安装cudatoolkit, 我是普通用户, 没有sudo权限, 为普通用户配置cudatookit需要配置安装路径。回车后Done->Done, 然后选择install, 安装完毕使用nvcc -V并不能检测到安装结果。我们选择安装CUDA 11.2.0 GA, 接着查看系统版本。
2024-05-12 20:47:45
249
原创 ubuntu非root用户安装tree
将Makefile文件中正文第一行prefix="usr/local"改为非root用户目录下的安装目录。保存并退出后，运行安装脚本，已经有Makefile了，所以不用make，直接make install。解压得到tree-2.1.1文件夹，先创建安装目录，然后更改Makefile文件。进入非root用户根路径，下载并解压git-lfs文件。接着到用户根目录修改.bashrc文件，配置环境变量。保存并退出后，刷新一下环境变量即可。找到最新版本，右键复制链接。测试，如下则配置成功。
2023-09-05 00:07:12
182
原创 配置ssh远程连接服务器并设置密钥（免密）登录和别名登录
其中server_alias为服务器别名，IdentityFile配置本地私钥路径（可以不写，默认是~/.ssh/id_rsa），用于配置连接多个服务器，配置完成后，可以直接在终端输入。连接服务器，如果配置成功，会直接进入服务器，无需输入密码和繁琐的SSH连接命令。首先在本地生成SSH密钥对，如果已经有密钥对可以跳过这一步。
2023-09-02 10:22:46
646
原创 ubuntu非root用户安装git-lfs
将install.sh文件中第三行prefix="usr/local"改为非root用户目录下的安装目录。解压得到git-lfs-3.4.0文件夹，先创建安装目录，然后更改install.sh文件。找到对应的ubuntu适用版本，一般为Linux AMD64，右键复制链接。进入非root用户根路径，下载并解压git-lfs文件。接着到用户根目录修改.bashrc文件，配置环境变量。保存并退出后，刷新以下环境变量即可。保存并退出后，运行安装脚本，显示。git-lfs官方网址。测试，如下则配置成功。
2023-09-01 17:14:01
540
原创 将服务器上项目和环境传输到另一台服务器
使用scp传输该压缩文件到另一台服务器(wangyf@172.17.161.100 port 60001)使用scp传输项目文件夹到另一台服务器(wangyf@172.17.161.100 port 60001)进入miniconda/envs环境下手动创建环境名文件夹。在当前路径生成 环境名.tar.gz 的压缩文件。解压环境压缩包到刚刚创建的文件夹。安装conda-pack包。
2023-05-05 14:20:51
875
原创 ChatGLM-6B-PT指定gpu微调
仍然报错无法通过ssh连接43090, 因为是自己远程连接了自己, 我灵机一动考虑用本地连接, 把两个文件的43090都改成localhost, 因为本地连接是可以ssh localhost连接的。但没有用, 虽然指定了只有一张卡微调, 但是默认还是在gpu:0上跑, 之前的设定CUDA_VISIBLE_DEVICES=1被重写了, 观察运行时提示信息可以看到。在4-3090对ChatGLM-6B-PT微调, 由于gpu:0, gpu:2, gpu:3都被占用, 导致微调显存不足。然后考虑查看本机主机名。
2023-04-25 20:40:20
3720
3
原创 脚本报错$‘\r‘:command not found
在Windows(CRLF)右键选择转为Unix(LF)之后保存, 发送到服务器并覆盖原始脚本即可。由于脚本是在Windows系统编写的, Windows中编辑器默认行尾是\r\n。而在Unix系统中编辑器默认行尾是\n, 之前的\r当成命令当然报错找不到此命令。我们需要重新配置行尾符, 在Notepad++编辑器中。
2023-04-25 07:43:09
424
1
原创 huggingface_hub优雅下载ChatGLM-6B模型
在./ChatGLM-6B/下创建文件夹./ChatGLM-6B/chatglm-6b/用于存放本地模型。调用huggingface_hub下载ChatGLM-6B模型到指定本地路径。进入chatglm-6b环境, 进入python终端。安装huggingface_hub。查看下载模型的文件目录。
2023-04-25 03:51:13
5003
1
原创 torch.cuda.OutOfMemoryError: CUDA out of memory.
发现gpu:0显存被PID:19409程序大量占用, 报错应该是默认在gpu:0训练导致显存不足, 接着查看gpu:0上程序所属用户(如果不是师兄的我就kill了)设置完成后查看显存占用情况可以看到, gpu:1显存占用马上上升了, 不影响其他gpu卡的显存。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。发现gpu:1空闲, 指定gpu:1上训练模型, 有多种方法,
2023-04-25 03:16:52
43090
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人