AI大模型
文章平均质量分 66
chenkangck50
这个作者很懒,什么都没留下…
展开
-
AttributeError: ‘DistributedDataParallel‘ object has no attribute ‘prepare_inputs_for_generation‘
当你使用 DistributedDataParallel (DDP) 时,模型被包装在 DDP 中,所有模型的方法都会被封装在 model.module 中。因此,如果你要调用模型的自定义方法(如 prepare_inputs_for_generation),需要通过 model.module 来访问。原创 2024-09-11 20:13:23 · 207 阅读 · 0 评论 -
多卡微调智谱glm-4-9b-chat
微调(Fine-tuning): 微调是通过在预训练模型的基础上,使用特定领域的训练数据进一步训练模型,使其在该领域或任务中表现得更好。这个过程会修改模型的内部参数,优化模型在特定任务上的表现。微调后的模型已经具备了特定领域的知识,在推理时可以直接依赖这些内部知识。工作原理:通过额外的训练数据,逐步调整预训练模型的参数,使其能够更好地理解和生成与特定任务或领域相关的内容。训练完成后,微调后的模型不需要访问外部资源或知识库,就可以直接生成符合特定领域的结果。原创 2024-09-11 20:02:08 · 798 阅读 · 0 评论 -
chatglm4部署以及集成langchain
这通常意味着你传递给 HuggingFacePipeline 的自定义 pipeline 对象没有正确设置 task 属性。HuggingFace 的 pipeline 对象通常应该有 task 属性来标识它的类型,例如 “text-generation”, “translation”, “summarization” 等。代码在调用 HuggingFacePipeline 的 _generate 方法时遇到了 AttributeError,其中 self.pipeline 的对象没有 task 属性。原创 2024-09-09 14:24:17 · 610 阅读 · 0 评论 -
AI大模型之旅-Ollama+AnythingLLM 搭建本地知识库,并落地生产
以上都是在anythingllm中提问或者回答,但是如何结合自己的生产系统呢,anythingllm提供的api接入,先生成一个api秘钥,然后点击api文档。然后再本地postman测试,以下就测试成功了,紧接着就可以连接自己的生产环境,喂自己的数据,构建自己的知识库了。每个工作区点击设置,可以修改工作区的配置,包括通用设置,聊天,向量库和大模型代理,自己设置就好了。文档上传完成,可以测试以下(顺便说的我的文档是java面试宝典),测试效果还可以。点击上传按钮,就可以上传本地文档,甚至有网页。原创 2024-09-04 17:33:11 · 333 阅读 · 0 评论 -
AI大模型之旅-本地安装llm工具dify 和 fastgpt
官网地址: https://dify.ai/进入 Dify 源代码的 docker 目录,执行一键启动命令:进入 dify 源代码的 docker 目录,按顺序执行以下命令:本地地址:http://xx.xx.xx.xx/用户名密码需要邀请 个人邮箱:2435931216@qq.com 密码:********原创 2024-09-02 13:49:41 · 608 阅读 · 0 评论 -
AI大模型之旅--本地Ollama部署
Ollama 是一个本地推理框架,允许开发人员轻松地在本地部署和运行 LLM例如 Llama 3、Mistral 和 GemmaOllama 提供了一种简单的方法来部署 LLM 到本地环境。您可以使用 Ollama 的命令行界面或图形界面来完成此操作。原创 2024-08-28 16:41:42 · 806 阅读 · 0 评论 -
AI大模型之旅--Vanna的安装与部署
根据前章,我们部署了ollama,此章刚好用来测试text2sql -----vanna安装部署。原创 2024-08-28 17:40:17 · 521 阅读 · 0 评论 -
AI大模型之旅--安装向量库milvus
milvus的官方文档中看到最新版本的部署方式Install Milvus Standalone with Docker Compose。(如果下载不下来,则需要魔法)milvus,向量索引库。2.下载web-ui界面。启动后会拉取镜像,启动。1.milvus部署。原创 2024-08-08 16:05:30 · 339 阅读 · 0 评论