- 博客(28)
- 收藏
- 关注
RSS订阅原创 XTuner 微调 LLM：1.8B， 部署
在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！
2024-07-10 08:12:30
931
原创 免费白嫖A100活动开始啦，InternLM + LlamaIndex RAG 实践
LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。通过 llamaindex 运行 InternLM2 1.8B，询问“你是谁”，将运行结果截图。通过 llamaindex 实现知识库检索，询问两个问题将运行结果截图。这里在测试使用大模型是否正常输出,并且跟后续加入RAG后效果对比。问题2：xtuner支持那些模型？xtuner是什么?书生集成的微调,测试大模型平台。问题1：xtuner是什么?xtuner支持哪些模型。
2024-07-09 09:24:12
426
原创 3.python
学会 vscode 远程连接 internstudio 打断点调试 python 程序。学习 python 虚拟环境的安装。Python 的基本语法。
2024-07-06 20:27:10
232
原创 白嫖A100-interLM大模型部署试用活动，亲测有效-2.Git
命名路径：./data/Git/task/【大家可以叫我】可以为github昵称，微信昵称等，或其他网名作业提交对应的PR链接id 是问卷星id按照格式命名比如我的。
2024-07-06 19:44:13
888
原创 白嫖A100活动-入门篇-1.Linux+InterStudio
InterStudio平台是算力平台，可以通过平台使用A100,还可以使用“书生”团队集成好的环境、工具，快速部署LLMs.
2024-07-05 13:32:09
922
原创 “ValueError: Path is not a directory: output/checkpoint-1500” transformer- wandb 大坑 自用mark
ValueError: Path is not a directory: output/checkpoint-1500wandb: ERROR Error uploading "/home/ruiy/.local/share/wandb/artifacts/staging/tmpoq_g6rdh": CommError, wandb: ERROR Uploading artifact file failed. Artifact won't be committed.
2024-06-13 14:11:59
283
原创 `NCCL_P2P_DISABLE=“1“` and `NCCL_IB_DISABLE=“1“ 及NCCL 安装方法
NotImplementedError: Using RTX 4000 series doesn't support faster communication broadband via P2P or IB. Please set `NCCL_P2P_DISABLE="1"` and `NCCL_IB_DISABLE="1" or use `accelerate launch` which will do this automatically. 报错解决方案 安装nccl
2024-06-10 23:22:36
430
原创 Python packages hash not matching whilst installing using pip
2pip 安装报错mark。
2024-05-10 12:37:01
670
1
原创 AttributeError: module ‘torch‘ has no attribute ‘compile‘
AttributeError: module 'torch' has no attribute 'compile' bug 小记
2024-04-18 16:54:41
591
1
原创 Jupyter小坑 给自己的小记
python在jupyter里数据展示非常直观，都很喜欢用jupyter来调试，后来才发现 已调用的库，如果更新了 jupyter需要重启。用jupyter调用库自己些的库，报错。更改更改库，更新库后，仍然报错。库更新需要jupyter重启。不然会反复报同样的错误！
2024-04-17 17:57:15
115
原创 ValueError: Data must be 1-dimensional, got ndarray of shape (26418, 1) instead
ValueError: y_true and y_pred have different number of output (1!=2) ；ValueError: Data must be 1-dimensional, got ndarray of shape (26418, 1) instead深度学习 输入y格式报错的解决方案。
2024-02-24 10:07:02
744
原创 git 上传文件，error: failed to push some refs to ‘github.com:...git‘
git上传老报错，记一个
2024-01-08 17:31:23
397
1
原创 linux监控显存，空闲时运行或者发邮件（更新）
linux实时监控GPU，空闲自动运行，或发邮件通知，抢占每一刻GPU资源，炼丹人必备技能。
2023-12-06 21:30:05
437
1
原创 linux,不同conda环境更pip改包安装默认路径
打开相应地址，或者找到环境地址 我的环境是chatGLM 安装的python3.11。创建conda环境后 ，想要为环境专门建立pip安装路径，以免冲突。重新进入环境 which pip 就好了。但是python环境是conda内环境。结果环境一致跟base的路径一致，按ESC，输入:wq！输入i,insert模式添加。按照很多网络上的做法。
2023-09-26 20:46:56
718
原创 PostgreSQL RDBMS connections on Unix domain socket “/var/run/postgresql/.s.PGSQL.5432“?初次进入和修改配置些坑
data_directory 不要在config文件里面修改，当开了监听，可能会直接导致无法正常使用psql命令，在这里被坑了一个多小时。如果改了，发生报错执行以下命令。输入 /usr/lib/postgresql/12/bin/initdb -D /home/XXX。这个过程是再重新定向你的data_directory，并将psql在这里初始化。这个是添加的数据库用户，和linux用户名相同就行，下次就可以登陆了。要有root 权限可以直接进入。进入su postgres。进入postgres。
2023-09-21 21:36:00
309
原创 JSONDecodeError: Extra data: line 4 column 2 (char 545) json逐条存入后，读取报错解决办法
JSONDecodeError: Extra data: line 4 column 2 (char 545) json逐条存入后，读取报错解决办法
2023-09-06 17:28:04
368
1
原创 ChatGLM2-6B从本地加载模型报错-解决办法
ChatGLM2-6b大模型本地部署报错解决方案OSError: /chatglm2-6b does not appear to have a file named config.json. Checkout 'https://huggingface.co/chatglm2-6b/None' for available files.
2023-09-06 15:56:51
8649
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人