xiaomu_347的博客

LLM模型量化部署

2. 在`tokenizer_config.json`文件里面的`additional_special_tokens` 里面加上 `""`，可以验证一下，》修改qwen的tokenizer的相关文件：设置``这个token id。这一步感觉有点像pytorch的构建自己训练数据的datasets和dataloader。基于上面构建好的网络结构，下面首先准备好训练数据，当完成新模型的替换和生成后，测试一下新的模型。》util处理：打印其他信息。》，然后下载与训练模型。

目前国内外开源/闭源LLM模型种类比较繁多，如何选择一个合适的基座模型来适配自己业务就显得很重要了，根据。针对目前较为主流的中文开源llm，从模型评测、初步体验和部署等方面，下面详细总结了4个比较常用的开源大模型特点。

在使用 DeepSpeed 训练大模型时，除了常规的模型设计和数据准备外，还需要特别关注内存管理混合精度通信优化和分布式训练的配置，以确保大模型能够高效、稳定地训练。参考链接：1、2、DeepSpeed-CSDN博客。

LangServe 提供了将 LangChain 的 runnables 和 chains 部署为 REST API 的能力，它是使用 FastAPI 来实现的。使用 LangServe 部署基于 LLM 的应用，会包含两个部分：Server（提供 LLM ChatModel 服务）、Client（调用模型服务）。下面通过一个例子来说明如何构建。

最近微软团队开源了一款数据工作流与转换工具 GraphRAG，利用LLM，帮助用户从非结构化文本数据中提取结构化数据，并完成数据索引。与传统的在文本片段中，基于语义查询的RAG不同，GraphRAG从原始文本中，提取数据，构建知识图谱，并利用这些结构化数据完成RAG任务。这取决于输入数据的大小、使用的模型以及使用的文本块大小（这些可以在文件中配置。要找到适当的部分，只需搜索配置。，您应该会看到两个部分，一个用于聊天端点，一个用于嵌入端点。pipeline完成后，您应该会看到一个名为的新文件夹，而在。

项目，llama.cpp 项目用 C/C++ 重写了推理代码，既避免了 PyTorch 引入的复杂依赖，又提供了更为广泛的硬件支持，包括纯 CPU 推理、Apple Silicon 在内的各类底层计算架构都得以充分发挥对应的推理加速。而作为价值约 8 美元/月的 Raycast AI 的平替，Raycast Ollama 实现了 Raycast AI 的绝大多数功能，且随着 Ollama 及开源模型的迭代，还将支持多模态等 Raycast AI 不支持的功能，可谓潜力无限。此外，还可以换用其他模型。

而对于AIGC模型而言，简单的以文生图stable diffusion（开源），mdjourney（收费）为主，还有sora（文生视频等），以及文生声音（chattts），数字人等等。

可见，AnythingLLM是一个功能丰富，集成度很高的RAG框架，其在github上的开源项目（anything-llm），已经有1万2千多Star。它不仅仅是一个聊天机器人，是一个全栈应用程序，旨在通过一个精心设计的用户界面，为客户提供与文档、资源等进行智能对话的最简单方式。该工具的一个独特之处在于，它可以在后台简单地运行，而不需要使用大量的内存或资源。在这种情况下，不同的工作区可以共享相同的记录，但不能相互交互，从而允许用户为不同的用例维护不同的工作区。4）两种聊天模式：会话模式和查询模式。

点击进去会有一个注册框，填写完成自己的信息之后会进入下载页面。同时需要注意保留页面左下角的激活码。按照下载页面的安装说明进行安装。这些数据库在存储和查询知识图谱数据时具有不同的特点和优势，选择适合自己需求的数据库取决于具体的应用场景和性能需求。至于llm和rag技术这里不做过多赘述，可以查看前面的学习笔记，下面主要介绍一下知识图谱，，密码在首次登录时设置。接下来就像mysql数据那样，可以直接通过Neo4j浏览器进行操作。在浏览器中打开Neo4j Web界面，并登录。而三元组是图中的基本数据单元。

基于本地部署，脱离千篇一律的openai key的方式，完成基本问答->基于rag模型微调->加入上下文信息->构建智能agent不断迭代升级的模型版本，在此基础上还可以进行适配性调整，完成对基于langchain对llm模型的应用开发。

想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。当模型和数据都已经配置完成，接下来就是开始训练了，这里我采用的是基于llama2-7b的模型，加上自己的中文数据利用lora方法进行sft，其他的参数设定如下。这样刷新后在加载数据时就可以看到自己添加的数据了，还可以对内容进行可视化。