- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Chatglm2-6B微调中出现的问题——ValueError: Attempting to unscale FP16 gradients.
这个问题尝试了很久，实际上是环境的问题，如果在训练过程中，将fp16设置为true+int8量化，那么是可以正常训练推理的，如果不设置int8量化就会报错。可以尝试改变peft的版本。
2024-02-03 23:22:43
1805
2
原创 Linux学习笔记（三）
root用户是超级管理员，拥有最大权限，而我们使用的是普通的用户，普通用户不能在根目录/下创建文件，可以切换到管理员用户，为普通的命苦授权，临时以root的身份去执行，sudo的使用，需要为普通用户配置权限命令或者是切换回普通用户的状态。
2023-09-22 09:49:06
54
原创 阿里云服务器ChatgGLM微调
需要注意一下，因为ChatGLM-6B是从git获取的源代码，部署时使用，而ChatGLM-6B-main是从阿里云获得的微调使用的代码，其中都有web_demo.py，但是其内容是不同的。进入/mnt/workspace/ChatGLM-6B-main/ptuning>目录下。可以看出来 仅仅是5个epoch的微调训练就可以让ChatGLM发生变化。这个文件夹是阿里云提供的可以直接对ChatGLM-6B进行微调的文件。其中ptuning文件夹中的train.sh就是训练的代码。训练之后开始模型推理。
2023-09-15 12:14:35
170
原创 阿里云平台ChatGLM-6B搭建
下载完成之后，模型在ChatGLM-6B-main/punting/chatglm-6b中，而且文件中缺少一个test_modeling_chatglm.py。web_demo.py , api.py 和cli_demo.py中的文件路径都需要更改。我们建立一个py文件，名为test_modeling_chatglm.py，代码如下。然后下载模型，因为hungingface无法打开，所以使用的是阿里云提供的模型。然后将pungting文件夹中的chatglm-6b移动到根目录，首先创建实例，选择环境为。
2023-09-15 12:11:57
552
1
原创 Linux学习笔记（二）
Linux是树形结构，Linux没有盘符的概念，，所有文件都在/下，整个linux系统只有一个树（Windows用\表示）例如/usr/local/hello.txt，第一个/表示根目录，其余的/表示层级关系。
2023-09-05 12:37:23
38
1
原创 Linux学习笔记（一）
图形化L:OS提供的图形化界面命令行：使用OS 提供的各类命令Linux和windows都支持两种方式，Linux更多情况下使用命令行的形式，因为Linux的图形化页面不好用也不稳定，在开发中一般使用命令行的形式。
2023-08-20 01:31:55
36
1
原创 JAVA文件的输入输出
https://blog.csdn.net/ai_bao_zi/article/details/81134801https://www.cnblogs.com/lovebread/archive/2009/11/23/1609122.html
2021-06-06 15:03:28
57
原创 超级详细！！！Windows解决GitHub网页打开很慢的问题！！！！
想用GitHub找几个代码包，但是发现网页打开特别慢！！下载也特别慢！！！做了很多功课解决了这个问题！！！于是来给大家发个教程:)博主原创！！！一个字一个字辛辛苦苦码的，原创不易，且看且珍惜1.首先打开这个网站查询GitHub的IP地址https://www.ipaddress.com/查询github.global.ssl.fastly.net和github.com查询结果如图：这两个就是IP网址，接下来通过改变DNS解决网页打开变慢的问题****2.****Windows用户需要 开启
2020-11-15 13:59:11
1221
10
原创 Windows 10 64位电脑安装pygame详细教程
**1.在安装pygame前要检查电脑是否安装pipWindows 键 +r 输入cmd，打开终端窗口，输入 pyhon -m pip --version这说明电脑已经安装有pip如果出现错误信息，将pip换成pip3再尝试，如果仍旧错误，就需要先安装pip。2.pygame下载在确保安装了pip的情况下，可以开始安装pygame了访问网址http://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame 安装pygame根据自己电脑中的python版
2020-08-26 16:23:15
868
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人