大模型学习笔记
文章平均质量分 52
m0_65156252
这个作者很懒,什么都没留下…
展开
-
基于SWIFT和Qwen1.5-0.5B-Chat进行大模型全参微调(魔搭社区)
2,微调后模型推理:CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir llm_sft_output/qwen1half-0_5b-chat/v2-20240924-164207/checkpoint-79。1,微调前模型推理:CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-0_5b-chat --model_id_or_path Qwen1.5-0.5B-Chat。执行--bash run.sh。原创 2024-09-24 17:35:56 · 728 阅读 · 0 评论 -
证候数据(证候.json)微调
微调过程:微调前模型输出:微调后模型输出:原创 2024-09-14 21:22:19 · 146 阅读 · 0 评论 -
Qlora微调Qwen-1_8B-Chat-Int4
(2)微调执行python finetune.py...... == bash finetune/finetune_qlora_single_gpu.sh。2,使用提供的shell脚本微调,文件目录finetune/finetune_qlora_single_gpu.sh。1, ModelScope 本地加载模型。1,数据准备zy.json。2,切换到Qwen目录下。三、微调(Qlora)1,qwen代码下载。原创 2024-09-10 19:20:26 · 242 阅读 · 0 评论 -
2024/9/4 RAG实战2、3
2,读取(使用LlamaIndex读取结构化文件中的embedding向量和向量索引数据)一、RAG实战2:如何使用LlamaIndex存储和读取embedding向量。表示从doc_emb目录中读取embedding向量和向量索引,表示根据存储的embedding向量和向量索引重新构建检索索引。二、RAG实战3:如何追踪哪些文档片段被用于检索增强生成。注:下面两项工作在RAG实战1基础上展开。原创 2024-09-04 17:00:47 · 150 阅读 · 0 评论 -
RAG实战1-基于LlamaIndex构建第一个RAG应用
llama-index-embeddings-huggingface允许我们使用本地的embedding模型去完成文档的切分和编码等操作;llama-index-llms-huggingface允许我们使用本地的大模型去开发RAG应用。4,下载模型文件:git clone https://www.modelscope.cn/qwen/Qwen1.5-14B-Chat.git。中广泛应用的技术,旨在将高维度的数据(如文字、图片、视频等)映射到低维度的空间。3,下载embedding模型权重:。原创 2024-09-03 20:04:25 · 523 阅读 · 0 评论 -
搭建一个大模型API服务
6,单卡部署:CUDA_VISIBLE_DEVICES=0 swift deploy --model_type qwen1half-4b-chat --model_id_or_path /mnt/workspace/swift/Qwen1.5-0.5B-Chat。5,模型文件下载:git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.git。3,安装swift:pip install -e .[llm]2,切换到swift路径。原创 2024-09-03 19:17:44 · 212 阅读 · 0 评论 -
Lora微调Qwen-1_8B-Chat模型实践(魔搭社区)
样本放入列表存为json文件,命名为chat.json(可以先下载再上传)(2)fp16精度问题:true改为false。(1)相关依赖包不匹配:根据错误提示更新即可。三、保存微调后模型并测试。此处容易出现的问题-原创 2024-09-02 11:33:29 · 343 阅读 · 0 评论 -
MobaXterm连接远程服务器
连接服务器:首先,你需要通过MobaXterm的SSH功能连接到你的远程服务器。在MobaXterm中,选择Session -> SSH,输入服务器的IP地址、用户名和密码,然后点击OK连接到服务器。检查显卡信息:连接成功后,你可以通过在MobaXterm的终端中输入nvidia-smi命令来查看显卡的信息,包括显卡型号、驱动版本等。监控GPU使用情况:在训练或推理过程中,你可以通过nvidia-smi命令实时监控GPU的使用情况,包括显存使用、GPU负载等,以确保GPU资源被合理利用。原创 2024-09-02 10:57:36 · 311 阅读 · 0 评论