fantasyblue5-CSDN博客

原创 L1-XTuner 微调个人小助手认知

模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。通过脚本生成的方式来准备数据。在微调数据集中加入数据。，文件内容为对话数据。1.安装xtuner。2.1 准备数据文件。2.2 准备配置文件。2.4 模型格式转换。

2024-08-23 19:01:26 224

原创 L1-OpenCompass 评测 InternLM-1.8B 实践

可以查看到所有跟 InternLM 及 C-Eval 相关的配置。找到hf_internlm2_chat_1_8b.py。解压后在opencompass文件夹下面看到数据集。得到如图所示的评测结果，用时约3h。

2024-08-23 13:36:21 228

原创 L1-llama index+Internlm2 RAG实践

我在./data文件中添加了.md格式的文本，构建简单的知识库。创建llamaindex_internlm.py。未使用RAG前，提出问题，很明显回答是错误的。创建llamaindex_RAG.py。使用RAG构建知识库后。

2024-08-22 21:11:40 159

原创 L1-书生大模型全链路开源开放体系

观看视频：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili通用大模型发展迅速书生大模型发展历程书生浦语大模型体系亮点全链路体系书生浦语的全链条工具体系开源，包括数据、预训练、微调、部署、评测、应用等环节数据预训练微调预训练评测部署应用

2024-08-20 15:38:19 103

原创 L1-提示词工程实践

这部分基于LMDeploy将开源的InternLM2-chat-1_8b模型部署为OpenAI格式的通用接口。InternLM部署完成后，可利用提供的chat_ui.py创建图形化界面。参考之前部署模型的方法使用cli_demo.py部署模型。输入命令后，就可以进入图形化界面了。使用tmux软件创建新的命令窗口。运行示例程序test.py。再次激活环境，部署模型。

2024-08-20 14:40:08 234

和上面部署模型的原理类似，在使用 Upload Image 上传图片后，我们输入 Instruction 后按下回车，便可以看到模型的输出。我们使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。进行图片上传和输入instruction。

2024-08-20 11:22:22 331

原创 L0-python

这里误选了current file，对照task.md进行更改。选择python file进行debug。debug界面可以看到断点处变量值。三、配置launch.json。一、连接vscode和开发机。这样就可以进行debug了。

2024-08-09 16:53:17 163

原创 L0-开发机配置与Linux

不知道为什么第一天出了bug一直显示排队中，还忘记关了一下子开了八个小时。在本地建立一个ssh公钥后，可以免去每次输入密码的过程。1.在powershell里输入登录命令和密码。成功运行hello_world.py示例代码。2.使用vscode远程连接开发机。进入开发机可以查看开发机界面。

2024-07-24 11:50:35 187

fantasyblue5的博客