是小驴呀的博客

原创 LLaMa-Factory部署微调大模型教程

由此便成功实现了直观的交互式的大模型微调，通过选择不同的模型、微调模式、数据集，设置不同的训练参数进行微调，最终还可以导出微调后合并的模型。各种参数模式的设置大家加油探索吧！可以从huggingface或者魔塔社区下载大模型，下载成功后需记住保存的地址，后续微调需要使用，以Qwen2.5-1.5B为例下载好的文件目录如下。模型的地址就是刚才下载保存的地址，注意模型名称要和地址下的名称所对应，这里我选的是vllm部署，点击加载模型即可向大模型提问。启动llama-factory的webui。

原创 ImportError: cannot import name ‘AdamW‘ from ‘transformers‘

在LangChain框架中部署RAGatouille库并使用ColBERTv2.0进行检索，然后就会出现ImportError: cannot import name ‘AdamW’ from ‘transformers’ 的报错。：一直在解决各种库之间版本不兼容的问题，最终修改该路径下的代码解决。：transformers库更新造成的。

原创 如何在ollama中导入并运行GGUF模型文件

在GGUF文件相同的位置创建一个Modelfile文件，使用文本编辑器写一句话表示GGUF模型文件的路径即可。GGUF文件是模型的量化文件，可以从Huggingface或者魔塔社区进行下载。SYSTEM “你是一个专业AI助手，请根据用户输入回答问题，不要编造信息。模型创建成功之后可以通过下面的命令查看。模型创建成功之后可以通过下面的命令查看。

原创 操作系统第一章