DataWhale 五一llama3超级课堂学习报告

最新推荐文章于 2024-05-23 09:55:57 发布

m0_56392638

最新推荐文章于 2024-05-23 09:55:57 发布

阅读量316

点赞数 3

文章标签：学习

本文链接：https://blog.csdn.net/m0_56392638/article/details/138682564

版权

文档学习链接：https://github.com/SmartFlowAI/Llama3-Tutorial

根据教程完成开发机远程环境配置，不嫌麻烦可以不配置ssh，一直密码链接。

注意InternStudio的配置环境是有200g的云存储空间在/root下。

根据引导一步步装下去就可以了。开发机的/share已经存好了需要的数据。

远程服务器在本地打不开可能是vscode的端口转发配置错误，直接把端口设置为（默认8501），然后访问localhost:8501就好。

成功在web端部署

数据集里面只有两句话，所以微调出来只会重复两句话。
一共微调672个iter，跑起来loss下降还是挺快的。
500 iter的时候保存了一次checkpoint。

跑到最后一步遭遇报错

raise OSError(errno.ENOSPC, "inotify watch limit reached")
OSError: [Errno 28] inotify watch limit reached

在 Linux 系统中，当 inotify 实例的数量超过了系统限制时就会出现这个问题。inotify 是 Linux 内核的一个特性，用于监控文件系统的变化，而 Streamlit 使用它来监控文件的变化以自动刷新应用。

然后还没有sudo权限这个不好解决了啊，重启？总之临时增加了inotify的限制之后能动了。

在这里插入图片描述

只会回复这一句了

安装好lmdeploy，获取模型权重后，可以直接调用chat，在终端聊天。

在这里插入图片描述

好简陋全是token

可以缩小kv cache 大小（代价是降低推理速度）

W4A16量化（4-bit weight, 16-bit activation)）

关注