- 博客(84)
- 收藏
- 关注
RSS订阅原创 【LLM大模型】如何使用RAG构建准确率更高的AI代理
本教程展示了如何使用检索器从非结构化数据中提取上下文，同时调用 API 获取更多数据来构建代理。译自，作者 Janakiram MSV。(RAG) 和的结合可以极大地提高基于 LLM 的应用程序的功能。结合了两种方法的优势，依赖于外部知识库进行准确的数据检索，并执行特定函数以高效地完成任务。RAG 框架中的函数调用使检索过程更加结构化。例如，可以预定义一个函数，根据用户查询从综合知识库中提取特定信息，RAG 系统将从该知识库中检索信息。这种方法确保响应既相关又精确地满足应用程序的要求。
2024-08-08 14:53:02
265
原创 LLM大模型技术的发展与实践
我们对大模型相关的发展历史、openAI技术的发展脉络、当前国内外主流的大语言模型进行了简单的介绍，同时针对大模型区别于之前模型的核心技术原理进行了简单讲解，本章提到的预训练、指令微调、对齐微调、上下文学习、思维链提示、规划等核心技术读者需要了解。相信通过本章的讲解，读者大致了解了大模型相关的知识。在最后一节从内容生成、问题解答、互动式对话、生产力工具/企业服务、搜索推荐等5个维度介绍了大模型能够赋能的领域和应用场景。未来大模型一定会革新所有的行业和场景的。
2024-08-08 14:52:20
861
原创 全网最全：一文入门最热的LLM应用开发框架LangChain_langchain框架
LangChain 的作者是 Harrison Chase，最初是于 2022 年 10 月开源的一个项目，在 GitHub 上获得大量关注之后迅速转变为一家初创公司。2017 年 Harrison Chase 还在哈佛上大学，如今已是硅谷的一家热门初创公司的 CEO，这对他来说是一次重大而迅速的跃迁。Insider 独家报道，人工智能初创公司 LangChain 在种子轮一周后，再次获得红杉领投的 2000 万至 2500 万美元融资，估值达到 2 亿美元。
2024-08-08 14:51:05
609
原创 医疗多模态大模型是什么？医学多模态模型总结：算法其实很简单，拼的就是硬件算力的问题！多模态大模型（医疗影像分析）_医学多模态大模型
贡献我们提出了第一个适用于医学领域的多模态少样本学习器，它有望实现新颖的临床应用，例如基于检索到的多模态上下文的基本原理生成和调节。我们创建了一个新颖的数据集，可以对一般医学领域的多模态少样本学习器进行预训练。我们创建了一个新颖的 USMLE 式评估数据集，将医学 VQA 与复杂的跨专业医学推理相结合。我们强调现有评估策略的缺点，并使用专用的评估应用程序与医疗评估员一起对开放式 VQA 世代进行深入的临床评估研究。
2024-08-06 10:31:01
1033
原创 大模型技术工程师：抓住时代机遇，成为行业精英
伴随AI大模型的火热，中国科技大厂们正在掀起一场「跑步AI化」的风暴。从顶层战略到业务线重构，AI无疑已成为大厂们押注未来的新故事。
2024-08-06 10:30:13
955
原创 2024大模型秋招LLM相关面试题整理
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。
2024-08-06 10:29:11
793
原创 大模型RAG系统开发全纪录：三个月的创业心得与深度思考_rag系统的第一次检索时间
自从和员外上家公司离职后，我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中，这中间有一个春节，前后的总时间大概是三个月左右，在这三个月期间，基本是昼夜兼程啊，到今天3月底结束，产品目前看是有了一个基础的雏形。在这期间，员外负责整个产品的营销、商业客户的洽谈等方面的内容，我和阿包负责整体的技术架构搭建，代码从0-1的编写，我们是在24年1月26，产品初步上线了一个版本，开始接受企业客户的试用，这让我们接受到了大量的需求，以及我们产品在目前的市场环境中还存在哪些竞争力不足需要改进的地方。
2024-07-29 14:41:49
595
原创 5个好用的中文AI大语言模型_中文大模型
AI大语言模型（Large Language Models, LLMs）是近1-2年来人工智能领域的重要发展，它们通过深度学习技术，特别是基于Transformer的架构（如GPT、BERT等），实现了对自然语言处理的巨大突破。AI大语言模型的主要功能和作用有：文本生成、创意写作、对话生成、问答系统、文本翻译、代码生成、代码解释、文档生成、辅助写作、辅助设计等。1.讯飞星火大模型-AI大语言模型-星火大模型-科大讯飞讯飞星火认知大模型是科大讯飞发布的大模型。
2024-07-29 14:41:17
477
原创 解析企业私有化大模型的核心价值：安全、定制与竞争力提升 —— 为何AI专家成职场新宠？
随着人工智能技术的快速发展，越来越多的企业开始意识到人工智能对于业务发展的重要性。而其中，大模型作为一种先进的人工智能技术，具有强大的拟合能力和泛化性能，已经被广泛应用于各种领域。
2024-07-29 14:40:39
382
原创 爆火的AI Agent到底是什么？有了大模型为什么还需要AI Agent？_为什么要有ai agent
总结来说，大模型和Agent都属于实现人工智能的一种技术实现方式；AI是一个人，那么大模型就是这个人的大脑，Agent就是大脑指挥做事的工具集。
2024-07-26 15:32:00
300
原创 【人工智能LLM】开源 LLM 大模型汇总以及微调策略_有哪些开源的大模型可以微调
自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，为大家梳理一下当前开源模型的工作。
2024-07-26 15:31:20
739
原创 10几个国内AI大模型，让你的工作学习效率翻倍！_大模型 编程能力
随着ChatGPT迅速走红,国内各大企业纷纷发力认知大模型领域。经过一段时间的酝酿，国内AI大模型也相继发布，快速点燃国内科技圈的热情。
2024-07-26 15:30:44
622
原创 大模型应用：一文搞懂Fine-tuning，模型微调有啥好处，从理论到实操_fine turning和p turning
我们前面几篇博文中出现的大模型，都是通用的大模型。但在更专业的领域，需要更专业的模型，这就需要用到模型微调的能力。从NLP范式发展的趋势来看，prompt+模型的方式已经成为主流，已经很成熟了，在进行模型微调之前最好确信自己需要这样做。
2024-07-24 14:29:41
1030
原创 【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3模型微调
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-07-24 14:28:53
1179
原创 Llama 3无限使用！喂饭级本地部署教程，零成本爽翻天_llama3怎么喂数据
近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。至于70B版本，它在与Gemini Pro 1.5及Claude的Sonnet模型的比拼中，表现得旗鼓相当，难分伯仲。
2024-07-24 14:28:22
719
原创 大模型时代：程序员如何升职加薪？（附：全流程）
AI大模型，又称大规模预训练模型，是指那些具有超大规模参数量和复杂结构的人工智能模型。这些模型通常包含数百万至数百亿个参数，通过深度学习技术，特别是 Transformer 等先进架构，在大规模数据集上进行训练。它们可以从数据中学习并提取复杂的模式和规律，展现出了卓越的泛化能力，即在未见过的任务或数据上也能有良好的表现。AI大模型的兴起标志着人工智能进入了一个新的发展阶段，它不仅推动了基础研究的进步，也在加速产业智能化升级，为各行业带来了革新性的应用和服务。
2024-07-22 15:07:06
938
原创 大语言模型微调实践——LoRA 微调细节_lora微调的原理 旁路
在本文中，我们探讨了 LoRA 微调方法，并以 StarCoder 模型的微调为例介绍了实践过程。通过实践过程的经验来为大家展示一些细节及需要注意的点，希望大家也能通过这种低资源高效微调方法微调出符合自己需求的模型。。
2024-07-22 15:05:14
1039
原创 大模型能自己优化Prompt了，曾经那么火的提示工程要死了吗？_为什么大模型相同的prompt结果变来变去的_应用场景中使用自动优化的prompt是否有用
人类设计 prompt 的效率其实很低，效果也不如 AI 模型自己优化。2022 年底，ChatGPT 上线，同时引爆了一个新的名词：提示工程（Prompt Engineering）。简而言之，提示工程就是寻找一种编辑查询（query）的方式，使得大型语言模型（LLM）或 AI 绘画或视频生成器能得到最佳结果或者让用户能绕过这些模型的安保措施。现在的互联网上到处都是提示工程指南、快捷查询表、建议推文，可以帮助用户充分使用 LLM。
2024-07-22 15:04:35
880
原创 如何让机器理解人类语言？Embedding技术详解_说人话序列 embbeding
在语言理解方面，人类的能力是无与伦比的。因为人脑能够轻松理解语言中的各种情感信息，例如幽默、讽刺、负面情绪等，只是我们必须了解句子所用的语言。例如，如果有人用英语评论我的文章，如果不借助翻译我可能很难理解对方想要表达的内容，所以为了有效的沟通，我们需要用对方最熟悉的语言进行交流。同理，为了让机器能够处理并理解任何类型的文本，需要我们将文本表示为机器能够理解的“语言”。那么，机器最擅长理解哪种语言呢？没错，就是数字。无论我们提供什么样的数据给机器，例如视频、音频、图片或是文本，机器最终都只能处理数字。
2024-07-18 10:50:21
340
原创 大模型是什么？大模型可以在哪些场景应用落地？
大模型是什么？大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。这些模型需要大量的计算资源和存储空间来训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。
2024-07-18 10:49:42
675
原创 Ollama：一个在本地部署、运行大型语言模型的工具
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。
2024-07-18 10:48:50
1360
原创 2024大模型秋招LLM相关面试题整理
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。
2024-07-16 10:40:10
397
原创 【大模型微调】一文掌握7种大模型微调的方法_大模型如何微调
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。
2024-07-16 10:39:27
888
原创 大模型应用：一文搞懂Fine-tuning，模型微调有啥好处，从理论到实操_fine turning和p turning
我们前面几篇博文中出现的大模型，都是通用的大模型。但在更专业的领域，需要更专业的模型，这就需要用到模型微调的能力。从NLP范式发展的趋势来看，prompt+模型的方式已经成为主流，已经很成熟了，在进行模型微调之前最好确信自己需要这样做。
2024-07-16 10:38:56
379
原创 RAG（大模型+知识库）落地与知识管理的春天-新的知识运营体系_大模型 知识库redmine
大模型时代来了，可能你也知道GPT大模型是被海量知识训练出来的，但不知道你有没有问过，什么样的知识才能训练大模型？站在企业的角度，很多企业都有自己的知识库或者文档中心，很多人也都有自己积攒数年的资料库，那是不是用上大模型，就能轻松实现基于自己知识库的智能搜索/智能问答/智能推荐呢？（一）知识基础形态和知识质量在传统的搜索、问答、推荐等场景中，通常会返回一整篇的文档，我们还得在这一大篇资料中去找到自己想要的那一段具体内容。不少企业构建的知识库，其实就是文档库。
2024-07-11 10:46:08
417
原创 2024年大语言模型（LLM）微调方法最全总结！_大模型微调_大语言模型微调
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调，主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。
2024-07-11 10:45:37
920
原创 【微调大模型】如何利用开源大模型，微调出一个自己大模型_大模型训练和微调框架
最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中可以学习并使用。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。微调顶层：只微调预训练模型的顶层，以适应新的任务。冻结底层。
2024-07-09 15:10:04
1202
原创 首个中文版大语言模型综述来了！人大发布60页《大语言模型综述》中文版，详述大模型技术细节_ruc 大语言模型综述
今年3月末，我们在 arXiv 网站发布了英文版大语言模型综述文章《》，该综述文章系统性地梳理了大语言模型的研究进展与核心技术，讨论了大量的相关工作。今年 6 月底，为了提升该综述的质量，我们进行了大规模修订，目前版本号目前迭代到 V11。同时，为了促进大模型知识在中文社区的传播，推动中文大模型研究，我们对英文版进行了翻译校对，推出了，目前已经对应更新到了，并将持续更新。中文版大语言模型综述******自从 20 世纪 50 年代图灵测试被提出以来，人类一直在探索如何用机器掌握语言智能。
2024-07-09 15:09:25
861
原创 大语言模型在行业中的应用（二）：各行业的应用案例解析_大语言模型 统计案例
随着人工智能技术的不断发展，大语言模型已经逐渐成为了各行各业的得力助手。本文将为大家分析金融、医疗、教育等行业中大模型的应用案例，带你领略这些行业的智能化变革。一、金融行业\1. 背景：金融机构在风险评估、信贷审批等方面需要对大量文本数据进行分析。\2. 应用场景：通过大语言模型对用户的信用报告、还款记录等文本数据进行深度分析，评估用户的信用等级。\3. AI 技术：采用自然语言处理（NLP）、大模型语言分析等技术，对文本数据进行特征提取、情感分析，从而实现精准的风险评估。二、医疗行业。
2024-07-09 15:08:55
464
原创 从产品到业务，跨越边界，抓住时代新趋势，AI产品经理的逆袭路
又到了一年一度的复盘时刻，回首2023，我给自己的关键词是：艰难转型、边界认知、抓住新机会。
2024-07-05 14:35:01
525
原创 从 CLM 启航：中国大模型的探索与未来
6月19日，CLM进入第二天，与大模型关系密切的12个专委会，将围绕大模型与各自领域的结合分成12个专场进行进一步的深入探讨。这也再次说明，这次会议不仅是对过去几年中国大模型技术发展的回顾，更是对未来方向的探索和思考。通过CLM大会这个平台，我们见证了大模型技术如何为NLP领域带来革命性的变化，以及中国学者在这一过程中的重要贡献。中国中文信息学会，作为本次大会的主办方，发挥了关键的指导和引领作用，促进了大模型研究的进步、学术交流和知识共享。大模型技术的崛起，为NLP带来了前所未有的研究深度和应用广度。
2024-07-05 14:34:26
754
原创 LLM 大模型学习必知必会系列(一)：大模型基础知识篇
我们通常会看到某模型研发机构开源了 base 模型和 chat 模型，那 base 模型和 chat 模型有什么区别呢？首先，所有的大语言模型（LLM）的工作方式都是接收一些文本，然后预测最有可能出现在其后面的文本。base 模型，也就是基础模型，是在海量不同文本上训练出来的预测后续文本的模型。后续文本未必是对指令和对话的响应。
2024-07-04 14:14:33
814
原创 工业大模型为何要落地很难？
AI大模型的落地关键，是解决技术与应用场景间的鸿沟。这涉及如何使大模型更好地适应特定的工业应用场景，以及如何克服不同模型和算力平台特性的差异带来的现实挑战。另外，在高精度要求行业中，应用场景适应性问题难度更大。
2024-07-04 14:13:48
1489
原创 开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
2024-07-04 14:12:38
2339
原创 机器学习与深度学习里生成模型和判别模型的理解
例如支持向量机，我已经知道它的决策函数（分类面）是线性的了，也就是可以表示成Y=f(X)=WX+b的形式，那么我们通过训练样本来学习得到W和b的值就可以得到Y=f(X)了。例如你投硬币，你试了100次，得到正面的次数和你的试验次数的比可能是3/10，然后你直觉告诉你，可能不对，然后你再试了500次，哎，这次正面的次数和你的试验次数的比可能就变成4/10，这时候你半信半疑，不相信上帝还有一个手，所以你再试200000次，这时候正面的次数和你的试验次数的比（就可以当成是正面的概率了）就变成5/10了。
2024-07-01 16:51:21
1044
原创 人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
SFT监督微调时监督微调时，学习率通常会设置得很小常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调常见误区：在ImageNet上的预训练的模型再来训练目标检测任务 （则不是）目前，主流的SFT监督方法包括：LoRA、P-tuning v2、Freeze。
2024-07-01 16:50:09
970
原创 关于模型的评估指标（超详细）
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。既然 K- L 散度没有对称性，两个随机分布之间的 K-L 散度求和，这个求和后的距离越大，证明两个随机分布的距离越大，即独立性越好，模型的预测效果越好。FN：表示漏报的样本数，即被错误准入(错误的拒绝了)的样本数（正例预测成负例，好样本没有准入，正例的少了，召回的少了）（好的少了，好的记成错的）
2024-07-01 16:45:28
678
原创 【2024最新】深入了解 大语言模型（LLM）微调方法（总结）_llm 大模型调优方法
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
2024-06-28 14:39:59
895
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人