![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 80
FL1623863129
计算机应用软件开发,长期致力于研究图像算法,人工智能算法,边缘部署,算法落地研究
展开
-
[大模型]XVERSE-MoE-A4.2B Transformers 部署调用
是由深圳元象科技自主研发的支持多语言的大语言模型(Large Language Model),使用混合专家模型(MoE,Mixture-of-experts)架构,模型的总参数规模为 258 亿,实际激活的参数量为 42 亿,本次开源的模型为底座模型模型结构。原创 2024-06-16 05:56:03 · 926 阅读 · 0 评论 -
[大模型]XVERSE-7B-Chat Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架,对 XVERSE-7B-Chat 模型进行 Lora 微调。知乎|深入浅出Lora。这个教程会在同目录下给大家提供一个notebook文件,来让大家更好的学习。LoraConfig这个类中可以设置很多参数,但主要的参数没多少,简单讲一讲,感兴趣的同学可以直接看源码。task_type:模型类型:需要训练的模型层的名字,主要就是attention部分的层,不同的模型对应的层的名字不同,可以传入数组,也可以字符串,也可以正则表达式。r。原创 2024-06-16 05:55:10 · 594 阅读 · 0 评论 -
[大模型]XVERSE-7B-chat WebDemo 部署
XVERSE-7B-Chat为模型对齐后的版本。原创 2024-06-16 05:53:34 · 754 阅读 · 0 评论 -
[大模型]XVERSE-7B-chat langchain 接入
XVERSE-7B-Chat为模型对齐后的版本。原创 2024-06-16 05:52:32 · 781 阅读 · 0 评论 -
[大模型]XVERSE-7B-chat FastAPI 部署
XVERSE-7B-Chat为模型对齐后的版本。原创 2024-06-16 05:51:36 · 710 阅读 · 0 评论 -
[大模型]XVERSE-7B-chat Transformers 推理
XVERSE-7B-Chat为模型对齐后的版本。原创 2024-06-16 05:50:24 · 791 阅读 · 0 评论 -
[大模型]Qwen2-7B-Instruct Lora 微调
LoraConfig这个类中可以设置很多参数,但主要的参数没多少,简单讲一讲,感兴趣的同学可以直接看源码。task_type:模型类型:需要训练的模型层的名字,主要就是attention部分的层,不同的模型对应的层的名字不同,可以传入数组,也可以字符串,也可以正则表达式。rlora的秩,具体可以看Lora原理lora_alphaLora alaph,具体作用参见Lora原理Lora的缩放是啥嘞?当然不是r(秩),这个缩放就是, 在这个LoraConfig中缩放就是4倍。原创 2024-06-15 06:39:59 · 1859 阅读 · 2 评论 -
[大模型]Qwen2-7B-Instruct vLLM 部署调用
vLLM框架是一个高效的大语言模型vLLMKVvLLMvLLMOpenAIAPIGPUvLLM在AutoDL平台中租赁一个 3090 等 24G 显存大小的容器实例,镜像选择如下PyTorch→2.1.0→→12.1接下来打开本地设备终端使用ssh的方式访问,在终端中依次复制登录指令和密码完成登录ssh登录成功后的界面如图所示👇或者也可以直接打开AutoDL网页端的快捷工具中选择JupyterLab并在其中点击终端打开(这种方式不需要验证🫠)接下来开始环境配置、模型下载和运行演示 ~pip。原创 2024-06-15 06:38:25 · 1905 阅读 · 0 评论 -
[大模型]Qwen2-7B-Instruct WebDemo部署
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。保存好后在终端运行 python /root/autodl-tmp/download.py 执行下载,下载模型需要一些时间。接下来,我们打开刚刚租用服务器的 JupyterLab,如下图所示,然后打开其中的终端,开始环境配置、模型下载和运行演示。文件并在其中输入以下内容,粘贴代码后记得保存文件。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。原创 2024-06-15 06:35:16 · 893 阅读 · 0 评论 -
[大模型]Qwen2-7B-Instruct 接入 LangChain 搭建知识库助手
在上述类定义中,我们分别重写了构造函数和 _call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 Qwen2 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_call 函数是 LLM 类的核心函数,LangChain 会调用该函数来调用 LLM,在该函数中,我们调用已实例化模型的 generate 方法,从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。原创 2024-06-15 06:31:57 · 1064 阅读 · 1 评论 -
[大模型]Qwen2-7B-Instruct FastApi 部署调用
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后请及时保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。接下来,我们打开刚刚租用服务器的 JupyterLab,如下图所示,然后打开其中的终端,开始环境配置、模型下载和运行演示。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出 issue。原创 2024-06-15 06:30:56 · 495 阅读 · 0 评论 -
[大模型]Phi-3-mini-4k-Instruct Lora 微调
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。的指示将端口映射到本地,然后在浏览器中打开链接 http://localhost:6006/ ,即可看到聊天界面。换为你的容器实例对应端口号。原创 2024-06-14 05:54:06 · 931 阅读 · 0 评论 -
[大模型]Phi-3-mini-4k-instruct WebDemo 部署
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。的指示将端口映射到本地,然后在浏览器中打开链接 http://localhost:6006/ ,即可看到聊天界面。换为你的容器实例对应端口号。原创 2024-06-14 05:52:34 · 399 阅读 · 0 评论 -
[大模型]Phi-3-mini-4k-instruct langchain 接入
为便捷构建 LLM 应用,我们需要基于本地部署的 Phi-3-mini-4k-instruct,自定义一个 LLM 类,将 Phi-3-mini-4k-instruct 接入到 LangChain 框架中。基于本地部署的 Phi-3-mini-4k-instruct 自定义 LLM 类并不复杂,我们只需从 LangChain.llms.base.LLM 类继承一个子类,并重写构造函数与 _call 函数即可。通过langchain调用phi3-mini-4k-instruct 模型讲个故事。原创 2024-06-14 05:51:39 · 328 阅读 · 2 评论 -
[大模型]Phi-3-mini-4k-instruct FastApi 部署调用
在 autodl 平台中租赁一个 3090 等 24G 显存的显卡机器,如下图所示镜像选择 PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。接下来打开刚刚租用服务器的 JupyterLab,并且打开其中的终端开始环境配置、模型下载和运行演示。文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。执行下载,模型大小为 8 GB,下载模型大概需要 10~15 分钟。如果版本不对,可以通过下面命令升级。原创 2024-06-14 05:50:25 · 389 阅读 · 0 评论 -
[大模型]MiniCPM-2B-chat WebDemo部署
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过 SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。原创 2024-06-13 06:36:15 · 535 阅读 · 0 评论 -
[大模型]MiniCPM-2B-chat transformers 部署调用
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过 SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。原创 2024-06-13 06:34:27 · 904 阅读 · 0 评论 -
[大模型]MiniCPM-2B-chat Lora && Full 微调
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过 SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。原创 2024-06-13 06:33:22 · 1021 阅读 · 0 评论 -
[大模型]MiniCPM-2B-chat langchain接入
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过 SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。原创 2024-06-13 06:27:53 · 725 阅读 · 0 评论 -
[大模型]MiniCPM-2B-chat FastApi 部署调用
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过 SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。原创 2024-06-13 06:26:46 · 662 阅读 · 0 评论 -
[大模型]LLaMA3-8B-Instruct Lora 微调
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。如下所示,可以看出LLaMA3自带思维链,应该是在训练的时候数据集里就直接有cot形式的数据集,LLaMA3很强!原创 2024-06-12 06:10:32 · 1344 阅读 · 0 评论 -
[大模型]LLaMA3-8B-Instruct WebDemo 部署
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。如下所示,可以看出LLaMA3自带思维链,应该是在训练的时候数据集里就直接有cot形式的数据集,LLaMA3很强!原创 2024-06-12 06:09:02 · 460 阅读 · 0 评论 -
[大模型]LLaMA3-8B-Instruct langchain 接入
在上述类定义中,我们分别重写了构造函数和 _call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 LLaMA3 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_call 函数是 LLM 类的核心函数,LangChain 会调用该函数来调用 LLM,在该函数中,我们调用已实例化模型的 generate 方法,从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。原创 2024-06-12 06:07:59 · 592 阅读 · 0 评论 -
[大模型]Llama-3-8B-Instruct FastApi 部署调用
下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出 issue。考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 LLaMA3 的环境镜像,该镜像适用于该仓库的所有部署环境。在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后请及时保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。原创 2024-06-12 06:04:24 · 982 阅读 · 1 评论 -
[大模型]GLM4-9B-chat Lora 微调
LoraConfig这个类中可以设置很多参数,但主要的参数没多少,简单讲一讲,感兴趣的同学可以直接看源码。task_type:模型类型:需要训练的模型层的名字,主要就是attention部分的层,不同的模型对应的层的名字不同,可以传入数组,也可以字符串,也可以正则表达式。rlora的秩,具体可以看Lora原理lora_alphaLora alaph,具体作用参见Lora原理Lora的缩放是啥嘞?当然不是r(秩),这个缩放就是, 在这个LoraConfig中缩放就是 4 倍。原创 2024-06-11 06:10:11 · 1864 阅读 · 2 评论 -
[大模型]GLM-4-9B-Chat vLLM 部署调用
考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 GLM-4 的环境镜像,该镜像适用于本教程需要 GLM-4 的部署环境。(vLLM 对 torch 版本要求较高,且越高的版本对模型的支持更全,效果更好,所以新建一个全新的镜像。在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。的指示将端口映射到本地,然后在浏览器中打开链接 http://localhost:6006/ ,即可看到聊天界面。原创 2024-06-11 06:08:02 · 2095 阅读 · 0 评论 -
[大模型]GLM-4-9B-Chat WebDemo 部署
考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 GLM-4 的环境镜像,该镜像适用于本教程需要 GLM-4 的部署环境。(vLLM 对 torch 版本要求较高,且越高的版本对模型的支持更全,效果更好,所以新建一个全新的镜像。在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。的指示将端口映射到本地,然后在浏览器中打开链接 http://localhost:6006/ ,即可看到聊天界面。原创 2024-06-11 06:06:46 · 913 阅读 · 0 评论 -
[大模型]GLM-4-9b-Chat 接入 LangChain
在上述类定义中,我们分别重写了构造函数和 _call 函数: 对于构造函数,我们在对象实例化的一开始加载本地部署的 ChatGLM4 模型,从而避免每一次调用都需要重新加载模型带来的时间浪费;_call 函数是 LLM 类的核心函数,Langchain 会调用改函数来调用LLM,在改函数中,我们调用已实例化模型的 generate 方法,从而实现对模型的调用并返回调用结果。此外,在实现自定义 LLM 类时,按照 langchain 框架的要求,我们需要定义 _identifying_params 属性。原创 2024-06-11 06:05:50 · 919 阅读 · 1 评论 -
[大模型]GLM-4-9B-chat FastApi 部署调用
考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 GLM-4 的环境镜像,该镜像适用于本教程需要 GLM-4 的部署环境。(vLLM 对 torch 版本要求较高,且越高的版本对模型的支持更全,效果更好,所以新建一个全新的镜像。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出 issue。文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。执行下载,模型大小为 18 GB,下载模型大概需要 10~20 分钟。,并且打开其中的终端开始环境配置、模型下载和运行。原创 2024-06-11 06:04:59 · 925 阅读 · 2 评论 -
[大模型]Gemma2b-Instruct Lora 微调
LoraConfig这个类中可以设置很多参数,但主要的参数没多少,简单讲一讲,感兴趣的同学可以直接看源码。task_type:模型类型:需要训练的模型层的名字,主要就是attention部分的层,不同的模型对应的层的名字不同,可以传入数组,也可以字符串,也可以正则表达式。rlora的秩,具体可以看Lora原理lora_alphaLora alaph,具体作用参见Lora原理Lora的缩放是啥嘞?当然不是r(秩),这个缩放就是, 在这个LoraConfig中缩放就是 4 倍。原创 2024-06-10 06:45:45 · 1059 阅读 · 0 评论 -
[大模型]Gemma-2B-Chat WebDemo 部署
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。并运行 python /root/autodl-tmp/download.py 执行下载,模型大小为15 GB,下载模型大概需要10~20分钟。使用 modelscope 中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。,即可看到聊天界面。原创 2024-06-10 06:43:20 · 380 阅读 · 0 评论 -
[大模型]Gemma-2B langchain 接入
在上述类定义中,我们分别重写了构造函数和 _call 函数:对于构造函数,我们在对象实例化的一开始加载本地部署的 Gemma 模型,从而避免每一次调用都需要重新加载模型带来的时间过长;_call 函数是 LLM 类的核心函数,LangChain 会调用该函数来调用 LLM,在该函数中,我们调用已实例化pipeline的生成方法,从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。原创 2024-06-10 06:42:30 · 369 阅读 · 0 评论 -
[大模型]Gemma-2B-Instruct FastApi 部署调用
更多chat模板参考这里:https://github.com/InternLM/xtuner/blob/main/xtuner/utils/templates.py#L8。在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容,粘贴代码后请及时保存文件,如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。pip 换源加速下载并安装依赖包。原创 2024-06-10 06:41:32 · 364 阅读 · 0 评论 -
[大模型]CharacterGLM-6B-Chat Lora微调
本文简要介绍如何基于transformers、peft等框架,对CharacterGLM-6B-chat模型进行Lora微调。知乎|深入浅出Lora本文代码未使用分布式框架,微调 ChatGLM3-6B-Chat 模型至少需要 21G 及以上的显存,且需要修改脚本文件中的模型路径和数据集路径。LoraConfig这个类中可以设置很多参数,部分参数展示如下:task_type:模型类型。原创 2024-06-09 06:09:07 · 760 阅读 · 0 评论 -
[大模型]CharacterGLM-6B-chat安装与使用
修改代码路径,将 /root/autodl-tmp/CharacterGLM-6B/basic_demo/web_demo_streamlit.py中第20行的模型更换为本地的/root/autodl-tmp/THUCoAI/CharacterGLM-6B。修改代码路径,将 /root/autodl-tmp/CharacterGLM-6B/basic_demo/cli_demo.py中的模型路径更换为本地的/root/autodl-tmp/THUCoAI/CharacterGLM-6B。原创 2024-06-09 06:08:08 · 441 阅读 · 0 评论 -
[大模型]CharacterGLM-6B FastApi部署调用
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。在/root/autodl-tmp路径下新建api.py文件并在其中输入以下内容,粘贴代码后记得保存文件。下面的代码有很详细的注释,大家如有不理解的地方,欢迎提出issue。使用 modelscope 中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。新开一个终端,输入如下指令。pip换源和安装依赖包。原创 2024-06-09 06:05:10 · 257 阅读 · 0 评论 -
[大模型]CharacterGLM-6B Transformers部署调用
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。并运行 python /root/autodl-tmp/download.py执行下载,模型大小为 12 GB,下载模型大概需要 10~15 分钟。使用 modelscope 中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。pip换源和安装依赖包。原创 2024-06-09 06:03:11 · 222 阅读 · 0 评论 -
[大模型]QAnything的docker安装方法
知识库数据量大的场景下两阶段优势非常明显,如果只用一阶段embedding检索,随着数据量增大会出现检索退化的问题,如下图中绿线所示,二阶段rerank重排后能实现准确率稳定增长,即数据越多,效果越好。QAnything使用的检索组件强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标基于LlamaIndex的RAG评测,表现SOTA【基于LlamaIndex的RAG评测指标。原创 2024-04-26 06:22:16 · 1578 阅读 · 2 评论 -
[大模型]QAnything纯Python环境安装教程
在scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh中补充api-key等参数。在scripts/run_for_openai_api_with_gpu_in_Linux_or_WSL.sh中补充api-key等参数。在scripts/run_for_openai_api_in_M1_mac.sh中补充api-key等参数。或者打开http://{主机ip地址}:8777/qanything/注意末尾的斜杠不可省略,否则会出现404错误。原创 2024-04-26 06:19:32 · 813 阅读 · 0 评论 -
[大模型]基于MaxKB搭建一个知识库问答系统
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base,旨在成为企业的最强大脑。开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好;无缝嵌入:支持零编码快速嵌入到第三方业务系统;多模型支持:支持对接主流的大模型,包括本地私有大模型(如 Llama 2、Llama 3)、通义千问、OpenAI、Azure OpenAI、Kimi 和百度千帆大模型等。原创 2024-04-26 06:09:54 · 1204 阅读 · 0 评论