大模型企业实战
文章平均质量分 93
技术狂潮AI
大模型技术应用入门|实战指南!我们专注于人工智能、LLM、RAG等前沿技术,探索大模型业务场景落地,分享技术干货、研究报告和IT技术资料。
展开
-
Denser Retriever: RAG中更强大的AI检索器,让您10 分钟内构建聊天机器人应用
是一个企业级的RAG检索器,将多种搜索技术整合到一个平台中。在MTEB数据集上的实验表明,Denser Retriever可以显著提升向量搜索(VS)的基线(snowflake-arctic-embed-m模型, 在MTEB/BEIR排行榜达到了最先进的性能)。它来自Denser.ai公司,创始人是黄志恒,曾担任 AWS 首席科学家,领导过 Amazon Kendra 和 Amazon Business Q 项目,截至 2024 年7 月,他的谷歌学术被引用次数超过 13,700 次。原创 2024-08-12 10:13:14 · 1180 阅读 · 0 评论 -
RAGFlow v0.9 重磅升级,支持 GraphRAG,开启下一代 RAG 之旅!
RAGFlow v0.9 的发布,标志着知识图谱增强型 RAG 系统 (RAG 2.0) 的全新时代正式开启。GraphRAG 作为其中的先行者,展现了 LLM 驱动下的知识图谱构建技术所蕴含的巨大潜力。它不仅为 RAG 系统注入了更强大的语义理解和知识推理能力,也为智能问答、语义搜索、知识发现等领域的应用打开了新的大门。GraphRAG 之所以能够取得成功,很大程度上得益于它对传统知识图谱构建流程的简化,使其更容易在实际工程中落地。原创 2024-08-09 16:29:55 · 1524 阅读 · 0 评论 -
MindSearch:AI 时代的“思考型”搜索引擎
MindSearch 是一款极具潜力的开源 AI 搜索引擎,它模拟了人类的思维过程,实现了深度知识探索,为用户带来了更精准、更全面的搜索体验。相信在未来,MindSearch 将会在 AI 搜索领域发挥更大的作用,引领搜索引擎进入一个全新的智能化时代。原创 2024-08-07 22:42:03 · 2121 阅读 · 0 评论 -
Gemini Pro 加持,谷歌 AI 笔记 Notebook LM 重磅升级!
整体对比下来,真正让我觉得有一定帮助的,感觉还不错的就是 Google 发布的 Gemini Pro,经过一年时间的锤炼,相比较去年推出的 Bard、PaLM 2能力确实提升很大,在某些方面一度超越了 GPT-4o,除了 Pro 版本还有 Flash 版本,虽然 Flash 对标 GPT-4o-mini 主打快速响应,但我感觉这两个模型输出的结果质量还是有比较大的差异,这半年多我主要还是使用。同时还根据你的笔记内容,自动生成一系列的问题,提供你更深入地理解和反思,有助于使用者的学习和研究。原创 2024-08-04 21:11:03 · 807 阅读 · 0 评论 -
Speckly:基于Speckle文档的RAG智能问答机器人
首先,我们定义一个 GraphState 类来表示图的状态,该状态包含三个关键属性:input、generation 和 documents。其中,input 属性存储用户输入的问题,generation 属性存储大语言模型根据输入生成的答案,documents 属性存储相关文档列表。"""表示图的状态。question: 问题generation: LLM 生成documents: 文档列表"""input: str。原创 2024-07-31 13:40:19 · 926 阅读 · 0 评论 -
Graph RAG:知识图谱赋能大语言模型的新范式
从依赖自身“记忆”到学会“查资料”,再到拥有“知识地图”,Graph RAG 的出现,标志着 AI 问答技术进入了一个全新的阶段。传统的 RAG 技术虽然能够为 LLM 提供更丰富的知识来源,但它就像一个只会“照本宣科”的学生,缺乏对知识的真正理解。而 Graph RAG 则赋予了 AI 更强大的推理能力和逻辑思维能力,让 AI 能够像人类一样理解世界、解决问题。当然,Graph RAG 也并非完美无缺。它的性能很大程度上取决于知识图谱的质量和覆盖范围。原创 2024-07-31 13:28:17 · 1241 阅读 · 0 评论 -
Dify 零代码 AI 应用开发:快速入门与实战
Dify 支持 OpenAI 的 GPT 系列和 Anthropic 的 Claude 系列等主要模型提供商。每个模型的功能和参数各不相同,请选择适合您应用程序需求的模型提供商。您需要在使用模型提供商的 API 密钥之前,从模型提供商的官方网站获取。以下以 OpenAI 的 API 密钥为例进行说明。使用 API 密钥可以使用更多模型。如果您需要集成开源模型,Dify 也支持。例如,您可以通过 Hugging Face 或 Ollama 集成开源模型。原创 2024-07-27 06:00:00 · 2109 阅读 · 0 评论 -
颠覆认知!LLM评估原来可以这么简单
生成式 AI (Generative AI) 和大语言模型 (LLM),例如 GPT-4、Llama 和 Claude,已经开启了 AI 驱动应用和用例的新时代。然而,评估 LLM 通常需要用到许多复杂的库和方法,这容易让人望而却步。实际上,LLM 评估并不一定复杂。你不需要复杂的管道、数据库或基础架构组件就可以构建有效的评估管道。Discord 就提供了一个很好的例子:他们为 2000 万用户构建了一个聊天机器人,并专注于实施易于运行和快速实施的评估方法。原创 2024-07-26 08:45:00 · 754 阅读 · 0 评论 -
LightRAG:高效构建和优化大型语言模型应用的 PyTorch 框架
LightRAG是一个开源的 PyTorch 库,专为简化检索器-代理-生成器 (RAG)管道的构建和优化而设计。它提供了一个轻量级、模块化且高度可读的框架,使开发者能够轻松地创建和定制强大的大语言模型应用程序。LightRAG 框架的核心特点:LightRAG 将 RAG 管道分解为三个核心组件:检索器、代理和生成器。每个组件都设计为独立且可插拔的模块,开发者可以根据需求轻松地替换、修改或扩展。原创 2024-07-12 08:54:27 · 920 阅读 · 0 评论 -
Cognita:一款面向生产环境的开源、模块化 RAG 框架
Cognita 是一个开源、模块化的应用程序,它被设计用于生产环境,并且结合了信息检索增强生成(Retrieval-Augmented Generation,简称 RAG)技术。RAG 是一种人工智能技术,它通过结合检索(检索相关信息)和生成(生成新内容)的方式来增强模型的性能。Cognita 的设计目标是在完全定制化和适应性之间取得平衡,同时确保用户友好性。它考虑到了 RAG 和 AI 技术的快速发展,因此在设计时注重了可扩展性,以便能够无缝集成新的技术突破和不同的应用场景。原创 2024-06-04 07:23:50 · 1260 阅读 · 1 评论 -
零门槛微调大模型:基于 Ludwig 低代码框架使用 LoRA 技术微调实践
Ludwig 就像一位武功高强的引路人,为你打开了 AI 世界的大门。它简单易用,功能强大,即使是初学者也能轻松上手。Ludwig 的低代码框架为将大语言模型 (LLM) 微调至特定任务提供了一种高效便捷的途径,它在易用性和强大的自定义能力之间取得了良好的平衡。通过利用 Ludwig 全面的模型开发、训练和评估功能,开发人员可以构建出针对特定用例量身定制的强大且高性能的 AI 模型,以满足各种现实世界应用场景的需求。以下是 Ludwig 的核心优势:低代码。原创 2024-05-23 21:27:18 · 1566 阅读 · 1 评论 -
高级RAG检索中的五种查询重写策略
本文深入探讨了 RAG(Retrieval-Augmented Generation)检索策略中的高级查询重写技术。其中重点介绍了子问题查询、HyDE 查询转换、Query2doc、回溯提示和迭代检索生成等五种查询重写策略。这些策略的目的是通过重新构造查询来更准确地定位相关信息,从而提高 RAG 系统的检索效率和答案的精确度。通过 LlamaIndex 提供的代码示例,文章展示了如何实现这些策略,并分享了一些实用技巧。在实际应用中,选择合适的查询重写方法需要根据具体问题和性能要求来权衡。原创 2024-05-22 08:58:56 · 3494 阅读 · 0 评论 -
InternVL 1.5:开源多模态大模型的“黑马”,性能比肩GPT-4V! (开源免费|可商用)
InternVL 1.5 是一款开源的多模态大型语言模型,它在处理高分辨率图像和支持多语言方面取得了显著进展。该模型通过强大的视觉编码器和动态分辨率适配技术,以及整合全面的双语数据集,缩小了与商业模型之间的性能差距。在 OCR 相关任务和双语场景理解中,InternVL 1.5 展现了其增强后的能力,成为了先进人工智能系统中的有力竞争者。原创 2024-05-18 22:31:06 · 4405 阅读 · 0 评论 -
OpenAI 推出 GPT-4o:实现多模态 AI 交互
OpenAI 的 GPT-4o 是 AI 技术变革性的进步,它将文本、音频和视觉整合成一个协调且反应灵敏的模型。这一进展预示着 AI 交互将变得更加自然、吸引人且易于接触,为多模态 AI 系统设定了新的标杆。随着 GPT-4o 向用户和开发者的推广,它对 AI 应用和用户体验的影响将是深远和广泛的。原创 2024-05-14 16:45:46 · 1947 阅读 · 2 评论 -
spRAG:一个处理密集非结构化文本复杂检索的 RAG 框架
近年来,随着自然语言处理和信息检索技术的不断发展,RAG(Retrieval-Augmented Generation)模型受到了越来越多的关注。RAG模型通过将知识检索与语言生成相结合,展现出了在处理复杂查询任务方面的巨大潜力。spRAG 是由 SuperpoweredAI 团队开发的一个专门用于处理密集非结构化文本数据的RAG框架,特别适用于处理复杂查询,如财务报告、法律文件和学术论文等。与传统的RAG模型相比,spRAG 在处理复杂查询任务方面表现出了显著的优势。原创 2024-05-06 16:53:46 · 1329 阅读 · 1 评论 -
RAGFlow:基于OCR和文档解析的下一代 RAG 引擎
在对 RAGFlow 的探索中,我们可以清晰地看到其在RAG(Retrieval-Augmented Generation)领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎,不仅在问答对话方面表现出色,还具备高级内容生成的能力,例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务,满足不同场景下的需求,尤其在企业级应用中发挥着重要作用。原创 2024-04-09 13:41:42 · 20251 阅读 · 0 评论 -
RankLLM:RAG架构下通过重排序实现精准信息检索
RankLLM是一种基于大型语言模型(Large Language Models, LLMs)的重排序方法,它利用了LLM的强大能力来改进信息检索的结果。在信息检索的过程中,初步检索阶段可能会返回大量相关或不相关的文档,RankLLM 的作用是在这些文档中进行再次排序,以提高检索结果的相关性和准确性。RankLLM通过使用LLM作为“提示-解码器”(prompt-decoder),在没有特定任务训练数据的情况下(即零样本设置),对文档列表进行重新排序,优化诸如归一化折扣累积增益(nDCG)等检索指标。原创 2024-04-03 19:20:13 · 1486 阅读 · 0 评论 -
特定领域 RAG 新突破:LlamaPack 实现 RAFT 论文方法
RAFT 和 LlamaIndex 的协同作用是特定领域自然语言处理领域的一次重大进步。通过利用检索文档的力量,RAFT 使 LLM 能够轻松、准确地处理复杂的信息。随着我们将专业知识整合到 LLM 中的探索不断深入,RAFT 将指引我们走向人工智能真正理解和适应人类语言和语境复杂性的未来。原创 2024-04-03 19:17:30 · 1375 阅读 · 0 评论 -
Databricks 开源 DBRX:一款功能强大的新型企业级语言模型
从今天开始,Databricks 客户可以通过 API 使用 DBRX,并使用 Databricks 提供的工具和技术,从头开始预训练自己的 DBRX 级模型,或者在我们提供的检查点之上继续训练模型。Databricks 使用高达 32K 词元上下文窗口训练 DBRX,并完全在其平台上构建 DBRX,使用了 Unity Catalog 进行数据治理、Apache Spark™ 和 Lilac AI 进行数据处理和清理,以及 Mosaic AI 训练服务进行大规模模型训练和微调等工具。原创 2024-03-29 17:58:48 · 1568 阅读 · 0 评论 -
Jamba:AI21 实验室发布首个应用级的 Mamba 架构 AI 模型
AI21 实验室发布了,这是全球首个基于架构的、可用于实际应用的 AI 模型。目前大多数模型(例如 GPT、Gemini 和 Llama)都基于架构。Jamba 结合了 Mamba 结构化状态空间模型 (SSM) 和传统 Transformer 架构的优点,实现了性能和效率的显著提升。Jamba 拥有 256K 个 Token 的超长文本处理能力,相当于大约 210 页文本,同时可在单个 80GB 的 GPU 上容纳 140K 个 token。这一突破得益于其。原创 2024-03-29 17:54:36 · 1353 阅读 · 0 评论 -
RelayAttention:让大型语言模型更高效地处理长提示符
虽然大型语言模型 (LLM) 近年来取得了非常显著的进展,也在各种自然语言处理任务中展现出强大的能力。然而,LLM 的在实际的应用落地层面也面临着一些实际挑战,其中之一就是效率和成本问题,导致了在垂直行业实际落地的应用非常少。因为现有的 LLM 通常需要大量的计算资源和内存,这限制了它们在实际应用中的部署。特别是在处理长文本输入时,LLM 的效率问题尤为突出。这是因为 LLM 需要存储和处理大量的中间结果,而长文本输入会导致中间结果的数量急剧增加。原创 2024-03-26 12:43:06 · 1319 阅读 · 0 评论 -
RAFT:让大型语言模型更擅长特定领域的 RAG 任务
生成式 AI 对企业最具影响力的应用之一是创建能够访问已有知识库的自然语言接口,换句话说,它能够针对银行、法律和医学等特定领域提供问题解答。原创 2024-03-25 19:25:39 · 2120 阅读 · 0 评论 -
LlamaParse:RAG中高效解析复杂PDF的最佳选择
LlamaParse是由 LlamaIndex 创建的一项技术,专门用于高效地解析和表示PDF文件,以便通过 LlamaIndex 框架进行高效检索和上下文增强,特别适用于复杂的PDF文档。它基于RAG(Rule-based Approach with Grammar)技术,能够准确地提取文本、图像、表格等元素,同时保持良好的性能。这项技术的设计初衷是为了处理那些包含嵌入式对象(如表格和图形)的复杂文档,这类文档的处理在以往往往是个挑战。原创 2024-03-22 17:01:10 · 4045 阅读 · 2 评论 -
智能模型新篇章:RAG + Fine-Tuning 混合增强策略
RAG和特定领域微调的结合,为提升大型语言模型的外部知识和领域专长提供了一种强大的解决方案。通过发挥这两种方法的优势,研究人员已经开发出了使大语言模型能够基于事实信息进行推理、适应专业领域,并生成更可解释和可信输出的方法。随着RAG和微调之间的联合作用不断被探索,我们可以预期未来的语言模型将不仅拥有广泛的知识,还能展现出深入的领域专长、推理能力和坚实的事实基础——这是迈向更知识渊博和可靠的AI系统的重要一步。原创 2024-03-20 21:41:22 · 1695 阅读 · 0 评论 -
Grok-1 开源:马斯克旗下xAI公司发布革命性AI模型,开启开源大模型新篇章|3140亿参数
xAI 的 Grok-1 体现了技术复杂性、伦理考量和前瞻性创新的结合。它的发布不仅为AI技术的进步做出了贡献,还为AI模型的开发和集成到数字互动和信息交流的结构中设定了新的标准。随着Grok-1的不断进化和适应,它有望成为寻求知识和技术进步的宝贵资产。Grok AI 助手将包含在 𝕏 Premium+ 中。要下载 Grok-1 的模型权重,请使用下面的磁力链接。您需要一个Torrent下载客户端。magnet:?原创 2024-03-18 10:51:03 · 1982 阅读 · 0 评论 -
一图窥探RAG技术发展现状
2023年除了大语言模型,听到最多的当属RAG(检索增强生成技术了),在实际业务场景落地过程中,由于大模型目前的一定局限和能力现状以及Token限制、训练成本等多种因素的影响下,RAG不得不成为大家选择快速试错、落地的一种选择和方案。RAG技术通过查询处理、数据检索、文档优化、增强生成、语义理解、文档结构化和自我增强等多步骤,实现了对用户问题的深度理解和高效回答。🔍📈 从自然语言到数据库查询,再到精准答案,RAG技术让AI的每一步都更加智能和人性化,让我们从这一张图来了解RAG技术体系的全貌。#RAG原创 2024-02-07 10:18:43 · 1531 阅读 · 0 评论 -
AI革命新篇章:法国天才团队挑战ChatGPT霸主地位
随着 Mistral 的创新不断涌现,我们看到了 AI 领域的新篇章正在被书写。这些小巧而高效的模型,不仅在性能上挑战了行业巨头,更是在可访问性和实用性上迈出了重要一步。Mistral 的 Medium 版本和 Mixtral 8x7b 的推出,不仅展示了 AI 的新高度,也为开发者和企业提供了前所未有的机遇。在这个快速变化的时代,Mistral 的故事提醒我们,创新的力量是无穷的,而 AI 的未来,正等待着我们去探索和定义。原创 2024-02-02 17:38:03 · 1186 阅读 · 0 评论 -
基于LlamaIndex解决RAG的关键痛点
我们讨论了开发 RAG 应用时的 12 个痛点(论文中的 7 个加上另外 5 个),并为它们每一个都提供了相应的解决方案。请看下图,这是根据原论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》中的图表修改而来的。我们把所有 12 个 RAG 痛点及其解决方案汇总到一张表中,现在我们得到了:虽然这份列表并未涵盖所有内容,但它旨在揭示在设计和实施RAG系统过程中所面临的复杂挑战。原创 2024-02-01 17:56:08 · 2135 阅读 · 0 评论 -
如何使用Hugging Face微调大语言模型(LLMs)
微调LLM时,了解你的使用场景和要解决的问题至关重要。这将帮助你选择合适的模型,或者帮助你创建一个数据集来微调你的模型。如果你还没有定义你的使用场景,你可能需要重新思考。并非所有的使用场景都需要微调,建议在微调你自己的模型之前,先评估和尝试已经微调过的模型或基于API的模型。例如,我们将使用以下使用场景:我们想要微调一个模型,它可以基于自然语言指令生成SQL查询,然后可以集成到我们的BI工具中。目标是减少创建SQL查询所需的时间,并使非技术用户更容易创建SQL查询。原创 2024-01-26 13:58:35 · 3922 阅读 · 0 评论 -
深入解析 Mistral AI 的 Mixtral 8x7B 开源MoE大模型
Mixtral 8X7B是Mistral AI公司在大语言模型领域的一次重大突破。它采用了一种名为"专家混合"(MoE)的架构,这种架构由8个专家组成,每个专家组有7个亿参数。这种高效的架构使得Mixtral能够在多个领域表现出色,具有出色的处理能力。Mistra l对持续优化的坚定承诺,将确保Mixture 8X7在AI领域保持领导地位。随着 Mistral 不断优化和调整Mixture ,我们有理由相信,它将带来更多的突破,从而在人工智能和广泛行业中产生意义深远的影响。原创 2024-01-12 11:22:17 · 2354 阅读 · 0 评论 -
如何利用大语言模型(LLM)打造定制化的Embedding模型
在探索大语言模型(LLM)应用的新架构时,知名投资公司向量数据库是预处理流程中系统层面上最关键的部分。它能够高效地存储、比较和检索高达数十亿个嵌入(也就是向量)。那么,为什么要如此强调向量数据库的重要性呢?这是因为计算机虽然功能强大,但并不擅长直接理解文本、图像、音频等人类友好的数据格式。通过将这些数据转换成数值型的“向量”,我们能够让计算机更高效地处理它们。而普通的数据库并不是为了处理这样的向量而设计的,尽管现在随着生成式 AI 技术的普及,它们开始逐渐支持向量操作。原创 2024-01-09 11:53:33 · 3869 阅读 · 0 评论 -
2023检索增强生成技术(RAG)研究进展
大语言模型(Large Language Models,LLMs)已经成为我们生活和工作中不可或缺的一部分,它们以惊人的多功能性和智能,转变了我们与信息的互动方式。然而,尽管拥有令人瞩目的能力,这些模型仍存在缺陷。它们可能产生误导性的“幻觉”(hallucinations),依赖潜在的过时信息,处理特定知识时效率不高,专业领域的深度不够,推理能力也有所欠缺。在真实世界的应用中,数据需要持续更新以反映最新进展,并且生成的内容必须是透明并可追溯的,这对于管理成本和保护数据隐私至关重要。因此,仅依赖这些“原创 2024-01-08 11:57:57 · 1629 阅读 · 0 评论 -
RAG实战案例:如何基于 LangChain 实现智能检索生成系统
检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。通过从更多数据源添加背景信息,以及通过训练来补充 LLM 的原始知识库,检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出,但又无需重新训练模型。原创 2023-12-22 00:20:24 · 8296 阅读 · 0 评论 -
RAG检索增强技术在知识库智能检索场景下的应用实践
本文我们主要探讨了知识检索增强(Retrieval-Augmented Generation, RAG)技术的关键评估方法和行业应用,以及几种现有的技术栈选择及其优缺点。首先,关于RAG的效果评估,我们提到了两种主要的评估方式:独立评估和端到端评估。独立评估包括检索评估和生成评估,重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标,以及人工或GPT模型的评估方法,以获得更全面的效果评价。原创 2023-12-18 22:43:05 · 6666 阅读 · 0 评论 -
AnythingLLM:基于RAG方案构专属私有知识库(开源|高效|可定制)
继OpenAI和Google的产品发布会之后,大模型的能力进化速度之快令人惊叹,然而,对于很多个人和企业而言,为了数据安全不得不考虑私有化部署方案,从GPT-4发布以来,国内外的大模型就拉开了很明显的差距,能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。原创 2023-12-13 00:16:49 · 20279 阅读 · 3 评论 -
Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资
Mistral AI在AI领域取得了双重突破,完成了4.15亿美元的融资,并发布了革命性的Mixtral 8x7B专家混合模型。这一模型不仅推动了技术的创新边界,还为开发者社区提供了前所未有的资源。Mixtral 8x7B以其卓越的性能和成本效益比,在AI基准测试中超越了现有模型,同时保持了对开发者友好的Apache 2.0许可证,确保了其广泛的可接入性和应用潜力。Mistral AI的这一成就标志着它在推动AI技术民主化方面迈出了坚实的一步。原创 2023-12-13 00:08:20 · 1336 阅读 · 0 评论 -
大模型在企业知识库场景的落地思考
今天我们深入探讨了企业在知识库场景下运用大型模型的实践策略。我们首先分析了大型模型在企业实际应用中所面临的挑战,包括算力、调度和数据等方面的问题。随后,我们提出了一系列解决方案,包括构建高效管理和自适应扩展的算力资源体系,开发或引进先进的调度系统,以及建立完善的数据处理流程。最后,我们强调了企业在实施大型模型实践策略时,必须关注数据安全、隐私和合规问题,以确保实践方案的可行性和可持续性。原创 2023-12-06 18:32:10 · 2928 阅读 · 0 评论