![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 83
写代码的中青年
NCEPU 工科硕士,人工智能工程师,CSDN人工智能领域认证新星博主,人工智能方向代码技术分享。
展开
-
miniconda+xinference的大模型推理部署指南
大模型专栏涉及模型推理的内容很多,我之前涉及推荐过书生浦语家的lmdeploy、最典型的vllm原生框架、swfit微调框架(具备模型部署能力)。今天想完整地给大家分享大模型推理部署指南,使用的是xinference,该框架封装了vllm,此外不仅支持推理模型,对于嵌入模型、重排模型也友好支持。默认大家具备Anaconda或miniconda环境,没有的话自行下载即可。环境部署简单粗暴,给大家打包到云盘里,嵌入、重排、推理模型这里也都提供了模型,解压后就能用,这里不赘述了。上干货!原创 2024-07-19 15:48:22 · 315 阅读 · 0 评论 -
多模态大模型Internvl-2-26B的OCR赋能方案(附代码)
模型部署:functions.py:config.py:数据预处理:预处理结果:处理前数据格式众多:处理后pdf转化为jpg图像,并存储与新的文件夹中。OCR识别:识别后将每一图片信息提取为指定格式的json示例(为保证隐私,信息已经改写):合并json信息,其中考虑每个人最高学历进行处理:总结开发测试数据132项。对于文件命名、文件内容、抽取规范都做了异常error记录,在人工校验中重点关注;本次测试error项3个。无error的文件因为本地模型性能问题现在生成内容也存在一原创 2024-07-16 17:42:12 · 840 阅读 · 0 评论 -
多模态大模型Internvl-1.5-26B微调后部署及测试实录(附代码)
基于之前研究。原创 2024-07-12 17:45:35 · 898 阅读 · 0 评论 -
swift与Internvl下的多模态大模型分布式微调指南(附代码和数据)
微调框架:swift微调模型:internvl-chat-v1_5微调任务:多模态大模型在指定任务上的OCR能力微调优化微调显存:55G,多batch时对单卡要求较高(4090不能满足需求)原创 2024-07-10 10:59:29 · 1384 阅读 · 2 评论 -
对话大模型Prompt是否需要礼貌点?
例如,对于GPT模型,当输入的礼貌程度降低时,输出的长度也会相应减少。对于Llama模型,降低礼貌程度通常会导致对话长度的缩短,但如果是极其不礼貌的输入,对话长度反而会显著增加。在使用这些模型时,一个值得探讨的问题是:否需要在与语言模型的交往中体现基本的礼貌,给予合理的尊重?追求一种"中庸之道",既不过于简陋粗鲁,又避免过分谦卑逊色,让语气保持在一个恰到好处的亲和且专业的程度。在与对话大模型交互时,研究发现,无论输入的礼貌程度如何,ROUGE-L和BERTScore这两种评估文本生成质量的。原创 2024-07-07 22:20:11 · 627 阅读 · 0 评论 -
Semantic Kernel:微软大模型开发框架——LangChain 替代
Semantic Kernel:一个集成大型语言模型 (LLM) 的 SDK,如 OpenAI、Azure OpenAI、 以及使用 C#、Python 和 Java 等传统编程语言的 Hugging Face。语义内核实现了这一点 通过允许您定义可以链接在一起的插件 只需几行代码。然而,语义内核的特别之处在于它能够自动编排 带有 AI 的插件。使用语义内核规划器,您可以 可以要求 LLM 生成实现用户唯一目标的计划。之后 语义内核将为用户执行计划。原创 2024-07-04 11:14:42 · 1085 阅读 · 0 评论 -
最简明的Few-shot Prompt指南
当它遇到一个新的问题时,我们不需要提供大量的例子,只需要给出几个关键线索(也就是提示),这个助手就能利用它之前学到的知识,快速地理解并解决新问题。但是,如果你给出一些提示,比如“这个问题和之前的几何问题有点像”,这个学生就能快速地应用它之前学到的几何知识来解决这个新问题,即使它之前没有见过完全一样的问题。这种方法的关键在于,通过精心设计的提示,可以有效地将预训练模型的能力迁移到新的任务上,即使是在极少的样本情况下。提示工程的艺术在于,如何通过最小的修改,使得预训练模型能够在新任务上表现良好。原创 2024-07-02 15:19:34 · 1245 阅读 · 0 评论 -
DSPy:变革式大模型应用开发
DSPy(Declarative Language Model Programming),指声明式语言模型编程,由斯坦福大学的研究人员开发,面向大模型RAG业务允许开发者专注于应用程序的高级逻辑,同时抽象掉许多低级细节。原创 2024-07-02 14:47:10 · 822 阅读 · 0 评论 -
RAGOnMedicalKG:大模型结合知识图谱的RAG实现
该项目分两部分:基于垂直网站数据的医药知识图谱构建基于医药知识图谱的自动问答,基于LLM的方式step1: linking entity,针对问题进行实体识别,本项目采用基于ac自动机通过加载图谱词表进行匹配获得;step2:recall kg facts,通过上一步得到的多个实体,通过prompt的方式提示llm进行实体的意图识别,然后转换成cypher语句进行查询,并过滤兼枝,得到子图路径;原创 2024-06-28 18:48:17 · 835 阅读 · 0 评论 -
大模型RAG、ROG、RCG概念科普
实际上,可行的方案是在检索器和优质知识库后外接接一个T5生成模型【小模型】进行文档生成,这样可以比较完整好地实现RCG,但代价是其整个问答系统泛化能力、回答质量基本上均取决于知识库范围和质量,其性能收到一定程度上的约束。RCG其实完全基于大模型很难实现,很难从技术上将RCG方法中所提到的在语言模型和检索器之间进行明确的角色分离进行实现,模型内部的参数化知识本身就很难与外部知识进行解耦。RAG:在RAG中,检索到的外部知识与语言模型内置的知识库相结合,生成的文本可能包含来自多个信息源的混合信息。原创 2024-06-28 15:36:10 · 842 阅读 · 0 评论 -
Segment any Text:优质文本分割是高质量RAG的必由之路
文本自动切句是个很有趣且很重要的场景,传统的句子分割方法依赖于基于规则或统计的方法,这些方法通常需要依赖于标点符号等词汇特征,例如早期方法使用决策树来确定文本中的每个标点符号是否表示句子边界,这基于标点周围的语言特征。这是一种用于改善自然语言处理(NLP)系统中文本句子分割的方法,据Segment any Text名称看,这是一个能够分割任意段落自然语言文本的工作。通过示例可以发现,其各种文本,是包括了无标点无格式文本、符号混乱无格式文本、语义混乱无格式文本。此次分享,各位按需使用。原创 2024-06-26 19:00:16 · 775 阅读 · 0 评论 -
大模型管理平台:one-api使用指南
支持模型映射,重定向用户的请求模型,如无必要请不要设置,设置之后会导致请求体被重新构造而非直接透传,会导致部分还未正式支持的字段无法传递成功。支持主题切换,设置环境变量 THEME 即可,默认为 default,欢迎 PR 更多主题,具体参考此处。账号注册,点击令牌、充值、日志、设置等功能按钮或登录按钮均可见登陆界面,按页面指导即可注册账户。支持令牌管理,设置令牌的过期时间、额度、允许的 IP 范围以及允许的模型访问。支持兑换码管理,支持批量生成和导出兑换码,可使用兑换码为账户进行充值。原创 2024-06-25 16:04:45 · 1022 阅读 · 0 评论 -
一文读懂多模态大模型基础架构
多模态大型语言模型(MLLM)像是一位多才多艺的艺术家,既能理解文字,又能看懂图片,甚至还能回答关于图片的问题,为复杂的任务提供解决方案。多模态编码器:信息的接收者想象一下,你面前有一张图片和一段文字。MLLM的第一个任务就是理解这两者。多模态编码器就是这个理解过程的起点,它像一个高效的信息接收器,能够同时处理视觉和语言信息。基本上都是选择CLIP预训练模型。这种方法有助于更好地对齐视觉和文本输入的特征空间。视觉编码器在MLLM参数中所占比例相对较小,因此与语言模型相比,轻量级优化不是刚需。原创 2024-06-25 11:37:20 · 614 阅读 · 0 评论 -
OpenCompass:大模型测评工具
OpenCompass,也称为“司南”,是由上海人工智能实验室发布的一个开源的大模型评测体系,已经成为目前权威的大型模型评估平台。作为一站式的大模型评估平台,它不仅量化了模型在知识、语言、理解、推理等方面的能力,还推动了模型的迭代和优化。其主要特点包括:对模型和数据集支持丰富:支持20+HuggingFace和API模型,70+数据集的模型评估方案,约40万个问题,从五个维度全面评估模型的能力分布式高效评测:提供了分布式评测方案,支持了本机或集群上的计算任务并行分发,实现评测并行式的提速。原创 2024-06-24 10:42:23 · 618 阅读 · 0 评论 -
基于Dify的智能分类方案:大模型结合KNN算法(附代码)
市民需将自己的问题凝炼成标题和文字内容进行上交,政务服务人员需要根据市民上交内容判断负责处理该问题部门进行指派。该方法系统应用提示词和思维链技术,并利用大量历史案例动态生成样本指导模型,且无需过分依赖模型推理能力。基于该需求特点,可设计基于大模型和历史案例驱动的指派算法,利用大模型的语义理解和逻辑推理能力,结合历史案例进行指派实现。2.分类的标准不够清晰,部门之间存在一定的职能重复或问题本身涉及多部门(只是权重不同)。首先对问题范围进行限定,并压缩用户输入(过长的token对后续的词嵌入有所影响)。原创 2024-06-24 10:06:07 · 1816 阅读 · 0 评论 -
从零开始的Ollama指南:部署私域大模型
Olama是一个旨在简化大型语言模型本地部署和运行过程的工具。它提供了一个轻量级、易于扩展的框架,让开发者能够在本地机器上轻松构建和管理LLMS。通过Olama,开发者可以访问和运行一系列预构建的模型,并与其他开源项目、应用程序进行耦合实现大模型应用开发。Ollama支持多场家、多尺寸、多模态的各类大模型。原创 2024-06-21 15:44:33 · 986 阅读 · 0 评论 -
Qwen-VL图文多模态大模型LoRA微调指南
Qwen-VL 是阿里云研发的大规模视觉语言模型(Large Vision Language Model, LVLM)。Qwen-VL 可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括:多语言对话模型:天然支持英文、中文等多语言对话,端到端支持图片里中英双语的长文本识别;多图交错对话:支持多图输入和比较,指定图片问答,多图文学创作等;开放域目标定位:通过中文开放域语言表达进行检测框标注;本文基于此进行微调。原创 2024-06-17 15:50:17 · 1209 阅读 · 3 评论 -
多类型图像OCR:基于Dify的多模态Agent实现
Agent 通常是一个智能软件实体,能够感知其环境,并根据这些感知做出决策和行动。它可能包括学习能力,以优化其未来的决策和行动。当下Agent研究往往是针对于文本类型数据输入,对语义进行感知并决策,现在对图文多模态输入的Agent研究相对比较匮乏。需要强调的是,由于Dify不支持图像数据在工作流中的流通控制,因此本设计使用图像链接。对不同类型图像进行识别时的解决方案。原创 2024-06-14 17:16:23 · 1282 阅读 · 0 评论 -
图文RAG组件:360LayoutAnalysis中文论文及研报图像分析
最近要做一些图文RAG研究,其中,面向图文交叠的文档难以解析,因此对文档的图文内容进行详细定位就成了关键。该开源项目基于YOLO8,并结合优质中文研报场景数据,训练出了轻量级符合需求的图文分析模型。开源地址:模型权重:部署等工作可以通过镜像网站完成。原创 2024-06-14 16:32:34 · 406 阅读 · 0 评论 -
文擎毕昇和Dify:大模型开发平台模式对比
其优势在于搭建过程的高效性,开发者仅需要输入大致主题方向,平台就可以根据这个主题自动生成一套全面且详尽的人物设定和行为Prompt,极大地提升开发的速度和便捷性。文擎毕昇平台相对于Dify,页面排布更合理,将平台功能划分为会话、构建、知识、模型四个职能分明的模块。Dify面对71、925、5739三个数量级的任务均可保质保量进行数据库构建,文擎毕昇平台在两次71数量级知识库构建中均存在较多失败案例。此外,如图所示,对于毕昇平台的Prompt自动生成、功能API便捷支持、版本管理等功能可供借鉴。原创 2024-06-13 14:24:53 · 1192 阅读 · 0 评论 -
Qwen-2-7B和GLM-4-9B:“大模型届的比亚迪秦L”
实测下,7B到14B其性能是飞跃性的,实际体感上,Qwen-1.5-14B已经是非常好用的模型了。我们第一时间部署了GLM-4-9B到本地服务器,将之前的项目替换LLM引擎,在使用上GLM-4-9B表现较好,不如Qwen-1.5-32B,但也可以支撑起整个应用流程,大概到了Qwen-1.5-14B的水平。感觉Qwen-2-7B和GLM-4-9B的接连发布,有点比亚迪秦L内卷能耗的感觉,入行一周年,深感这一年间大模型行业发展迅速。Qwen-2-7B在参数少2B情况下,评测上的表现优于GLM-4-9B。原创 2024-06-07 10:47:20 · 2102 阅读 · 2 评论 -
Time-LLM :超越了现有时间序列预测模型的学习器
Time-LLM 被展示为一个强大的时间序列学习器,其性能超越了现有的、专门的预测模型。输入补丁化:首先,将输入的时间序列数据分割成一系列“补丁”(patches),这些补丁是通过在时间序列上滑动窗口来创建的,每个补丁包含了一定数量的时间步长。实验与优化:在实践中,可能需要进行多次实验,调整模型参数,如补丁长度、步长、模型层数等,以及优化提示前缀的设计,来提高预测的准确性。解决方案:进行多次实验,调整模型参数,如补丁长度、步长、模型层数等,以及优化提示前缀的设计来提高预测的准确性。原创 2024-06-06 15:30:33 · 1051 阅读 · 0 评论 -
基于Dify的QA数据集构建(附代码和数据集)
QA数据集,即问答数据集,对于测评大模型应用能力、指令微调具备一定的价值。事实上,没有Dify时,完全可以调用API实现这一过程。但Dify进行实现后,该功能的复用、修改、配置效率都降进一步提升。本文思路:Dify应用开发——Dify开发细节介绍——数据情况——配合代码及文件。原创 2024-06-05 15:44:52 · 843 阅读 · 2 评论 -
以API形式调用Dify项目应用(附代码)
Dify主要提供用户UI使用界面,但对与部分场景和API形式调用项目应用十分必要。实际上,Dify也提供了相应的服务。原创 2024-06-04 10:27:45 · 1183 阅读 · 3 评论 -
Dify大模型开发技巧:约束大模型回答范围
例如开发公司手册的知识专属大模型,如果不对大模型问答范围进行约束,一来该专属领域大模型应用的专属特征丢失了,二来对于无用问题,容易对模型资源造成浪费,如果存在一定信息存储和多轮对话功能,那么浪费将会更严重。原创 2024-05-29 11:28:09 · 900 阅读 · 0 评论 -
基于Dify的大模型RAG多轮对话性能优化方案(附代码)
区别于通用LLM的多轮对话实现,RAG中多轮对话,既需要保证LLM在对话时的历史对话能力,也要保证RAG检索时输入信息的完整,同时对于模型来说,应将对话信息和RAG检索等非对话信息有清晰、明确的区分。原创 2024-05-22 16:04:33 · 3063 阅读 · 0 评论 -
大模型prompt实例:知识库信息质量校验模块
【情况1:未检索到知识库信息,未检索到在线信息。【情况2:未检索到知识库信息,检索到在线信息。【情况3:检索到知识库信息,且信息符合使用需求。【情况4:检索到知识库信息,但信息不符合使用需求,未检索到在线信息。【情况5:检索到知识库信息,但信息不符合使用需求,检索到在线信息。为检测知识库检索出的信息质量,需设计LLM+prompt。原创 2024-05-10 15:23:59 · 528 阅读 · 0 评论 -
多模态大模型通过外接数据方案实现电力智能巡检(附代码)
传统电网智能巡检锚定摄像机点位,将一系列点位组成巡检业务,通过yolo对一系列点位上传来的系列图像进行目标检测,发现预训练所设定的label后计为异常,最后返回巡检报告,报告内容包括点位总体异常占比、异常类型分布、异常置信度等等。易知,该模式下,巡检颗粒度止步异常类型,其只起到异常检测的作用,对更详细的异常处理方案、该异常点位负责人、该异常点位相关信息等等信息未能更好利用。原创 2024-05-09 17:27:16 · 1026 阅读 · 1 评论 -
快速接入stable diffusion的文生图能力
最近团队研究集中在多模态大模型方向,部分业务上数据缺失,准确讲是图像缺失,因此想通过扩散模型文生图的方式造一些数据出来。在服务器上进行sd部署费时费力费公司的计算资源。好在,hf等网站也提供了模型的使用、测试接口,能满足的一定的在线应用。但显然,在线应用对批量生成支持并不友好。原创 2024-05-09 11:19:17 · 802 阅读 · 0 评论 -
基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
OCR甚至多模态大模型的图像文字识别,均存在一定的识别误差或提取结果格式不统一。例如图像中文字为MITSUBISHI ELECTRIC 三菱电机但信息系统中只需要三菱作为关键字填入。为解决该问题,应在具体应用场景下外接规范信息。原创 2024-05-08 15:52:50 · 874 阅读 · 0 评论 -
基于dify开发的多模态大模型应用-智能铭牌识别(附代码)
多模态大模型实现这一功能,相比于传统的OCR系统,其优势更强。原创 2024-05-06 14:41:58 · 2417 阅读 · 6 评论 -
大模型时序预测初步调研20240506
大模型时许预测研究旨在利用LLM的能力进行时序分析,探索使用LLM的超量参数与强大的推理能力,将时许预测历史知识应用到具体场景下的数值时序分析中。原创 2024-05-06 11:14:00 · 397 阅读 · 0 评论 -
从零开始的Dify大模型应用开发指南
我们所开发的服务可以通过API或独立页面形式使用。当然,回馈机制、复杂多角色工作流、agent组、可视化、多模态分析以及更丰度的大模型应用开发,Dify均可进行便捷实现,此处不一一列举。原创 2024-04-29 17:28:12 · 2514 阅读 · 4 评论 -
大模型解决方案:具体业务场景下的智能表单填充(附代码)
在许多业务场景下,存在大量从表单、铭牌、参数快照等图像数据中进行信息提取和填充的需求。诸如数据摸排、信息录入、各时间颗粒度下的数据统计等业务,传统模式下主要通过人工手段完成,效率低、成本高、完成质量差。传统OCR技术结合大模型文字处理能力,可实现具体场景下的智能表单填充解决方案。原创 2024-04-24 16:45:11 · 674 阅读 · 0 评论 -
大模型接入外部在线信息提升应用性能
我们只需设计爬虫,对需要检索内容进行编码,嵌入对应url位置,设定页数信息,即可爬取百度检索出的信息,让大模型对外部信息加以利用。由于知识库数据有限、模型能力有限,因此大模型应用性能具备一定局限,为增强模型能力,可采用接入外部在线信息的方式进行应用能力优化。其中包含搜索关键词编码、页数等信息。例如为模型接入搜索引擎信息。原创 2024-04-04 23:13:12 · 697 阅读 · 0 评论 -
多角色大模型问答性能提升策略(附代码)
多角色大模型问答性能提升策略,即让大模型扮演多个角色,协同或竞争实现一个任务,增强大模型在该类型任务上的问答性能。可通过写prompt、设计Agent赋予llm角色属性,并规范一些行为。其合作形式多样,并不固定。原创 2024-04-02 16:09:25 · 1083 阅读 · 0 评论 -
COT:大模型的强化利器
一个完整的包含 CoT 的 Prompt 往往由指令(Instruction),逻辑依据(Rationale),示例(Exemplars)三部分组成。一般而言指令用于描述问题并且告知大模型的输出格式,逻辑依据即指 CoT 的中间推理过程,可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识,而示例则指以少样本的方式为大模型提供输入输出对的基本格式,每一个示例都包含:问题,推理过程与答案。原创 2024-04-01 17:22:38 · 1241 阅读 · 0 评论 -
langchain的基本使用
大模型开发框架,最基本、通用框架之一。langchain六大组成:1.模型,对模型的加载和使用。2.提示词,不同的任务使用不同prompt,管理和优化这些prompt。3.链,初步理解为具体任务中不同子任务之间的调用。4.数据增强的生成,数据增强生成涉及特定类型的链,首先与外部数据源交互以获取数据用于生成步骤。对长篇文字的总结和对特定数据源的提问/回答——即RAG,可以理解数据增强为一种特殊的链。5.代理,根据不同的指令采取不同的行动,直到整个流程完成为止。原创 2024-03-30 21:02:00 · 475 阅读 · 0 评论 -
大模型RAG性能提升路径
对相同的检索结果和输入作为拼接测试模型能力。设计反思+多轮校验的问答机制优化问答能力。需应用思维链(CoT)、agent。确定性能差距后更换模型、微调模型。新增外部信息、提示、工具。原创 2024-03-29 17:05:44 · 524 阅读 · 0 评论 -
文心一言、讯飞星火、GPT、通义千问等线上API调用示例
通过openai-sb调用。原创 2024-03-29 17:00:33 · 1565 阅读 · 0 评论