自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(335)
  • 收藏
  • 关注

原创 银行“大模型+智能客服”蓄势待发:一文了解五大国有银行客服场景大模型落地现状

基于大模型的总结能力,可以为人工客服提供。

2024-07-19 19:55:50 569

原创 更高级的 RAG 架构:提升 AI 大模型回答准确性的前沿技术

检索增强生成” (Retrieval Augmented Generation),简称 RAG,这一概念首次出现在 2020 年 Meta 发布的一项学术研究中。RAG 通过将大量外部数据与基础模型相结合,增强了 LLM 的能力,使 AI 的回应更加真实、个性化和可靠。可以说 RAG 是一个旨在提高 LLM 性能的框架。短短三年内,RAG 在企业领域的 LLM 应用中取得了显著的增长。本文将对 RAG 技术进行进一步的探索,同时会介绍几种更进阶的 RAG 技术。

2024-07-18 22:00:11 625

原创 零代码,我炼了个自己的大模型,快来围观

这两天用开源的 Qwen2 ,微调了一个自己的大模型。通过指令监督微调,改变大模型的,让他不再是 Qwen 而是渡码。微调的过程非常简单,不需要写代码,三步就可以搞定,今天跟朋友们分享一下。首先需要安装开源工具,选择开源模型作为基座。这里支持很多开源模型,我选的是 Qwen2-1.5B,因为我的显卡只有 8G 显存,所以只能训练参数小点的模型。接下来需要将基座模型下载到自己电脑上。建议在魔搭社区下载,速度快。下载后,在“模型路径”中填写模型存放的位置。,选择训练数据。

2024-07-17 20:49:15 813

原创 LLM基础模型系列:深入注意力机制

自注意力的主要功能是从输入序列本身生成上下文感知向量,而不是像基于RNN的编码器-解码器架构那样同时考虑输入和输出。在继续往下之前,还是需要帮助大家温习下之前的内容,也请各位能够认真的理解自注意力。在例句中,“火车准时离开车站”中有 7 个Tokens,可以得到一个 7x7 的自注意力得分矩阵。根据图中描绘的自注意力得分,“火车”一词更关注“车站”一词,而不是关注其他单词。自注意力分数有助于理解给定句子中单词的上下文含义。

2024-07-17 20:32:08 353

原创 微软开源的GraphRAG爆火,Github Star量破万,生成式AI进入知识图谱时代?

LLM 固有的基于词的计算和语言技能加上基于向量的 RAG 能带来非常好的结果。为了稳定地得到好结果,就必须超越字符串层面,构建词模型之上的世界模型。同样地,谷歌发现为了掌握搜索能力,他们就必须超越单纯的文本分析,绘制出字符串所代表的事物之间的关系。我们开始看到 AI 世界也正在出现同样的模式。这个模式就是 GraphRAG。技术的发展曲线呈现出 S 型:一项技术达到顶峰后,另一项技术便会推动进步并超越前者。

2024-07-17 20:09:37 862

原创 Llama模型核心技术分析

本文分析和总结Llama模型中的核心技术点,了解当前大语言模型的一般趋势和做法。模型家族(不同Size模型,预训练和指令微调版本)开源与闭源不同B的模型是独立训练还是量化得出的?评测性能模型卡片输入输出安全性评测与保障SFT和RLHF作用15Ttoken和128K标记的分词器训练数据需要构建内部评测库为什么需要微调版本并行化策略与评估计算利用率稳定性保障与评估数据处理技巧下一步工作预训练提供70B和8B量级模型,8B更适合资源有限场景部署,但是质量弱于80B模型。

2024-07-16 21:05:40 678

原创 又来一个RAG:RankRAG,英伟达RAG新思路

发布时间:2024 年 07 月 02 日RAG我们提出了一种名为 RankRAG 的创新指令微调框架,该框架使单个 LLM 能够同时进行上下文排序和答案生成,显著提升了 RAG 的性能。通过在训练中融入少量排序数据,RankRAG 不仅超越了专门优化的排序模型,还在生成任务上表现卓越,击败了包括 GPT-4 在内的多个顶尖模型。特别是在知识密集型和生物医学领域的基准测试中,RankRAG 展现了其强大的泛化能力,无需特定领域的微调即可与 GPT-4 媲美。

2024-07-16 20:08:15 835

原创 手搓KIMI的机会来了!蚂蚁首个Graph RAG 框架开源啦!

著名的检索增强生成应用kimi,估值已经达到了180亿美元。现在,你也有机会手搓一个属于自己的kimi啦!KIMI走的是检索增强生成路线,简称RAG:Retrieval Augmented Generation,它就是把信息检索与大模型结合,以缓解大模型推理“幻觉”的问题。RAG的目标是通过知识库增强内容生成的质量,通常做法是将检索出来的文档作为提示词的上下文,一并提供给大模型让其生成更可靠的答案。

2024-07-15 21:23:56 527

原创 汇总!7种大模型的部署方法!

选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架,才能确保项目的顺利推进和成功实现。因此,在选择部署框架时,我们应该深入了解框架的特性、优缺点以及适用场景,综合考虑项目规模、技术栈、资源等因素,从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率,还能降低项目风险,确保项目的顺利推进和最终成功。追求高性能推理?DeepSpeed是您的理想之选。

2024-07-15 21:01:54 768

原创 一文读懂 Agentic RAG 数据检索范式

通常来讲,我们可以一句话对其进行概括,‍Agentic RAG,即“基于代理“的 RAG 实现。基于代理的检索增强生成(Agentic RAG)技术通过引入创新的代理框架,彻底改变了我们回答复杂问题的方式。与传统上完全依赖 LLM(大型语言模型)的方法不同,Agentic RAG 利用智能化代理来高效解决那些需要复杂规划、多步骤推理和利用外部工具的棘手问题。在 Agentic RAG 体系结构中,智能代理扮演着关键角色。如同熟练的研究员,善于灵活运用各种策略和工具来全面探索并深入挖掘信息。

2024-07-13 21:10:51 974

原创 微软 GraphRAG 与 传统 RAG 架构设计精髓

在知识图谱构建完成后,GraphRAG会使用社区检测算法(如Leiden算法等)来识别图谱中紧密相关的实体组(社区)。

2024-07-12 20:51:02 659

原创 折腾Ollama + CodeGPT 在 VSCode 中构建自己的本机智能开发助手

看到CodeGPT支持ollama,于是就想尝试用Ollama + CodeGPT构建私有环境的开发助手。先在VS Code上安装CodeGPT,发现果然有ollama选项。可是看了文档:Ollama | CodeGPT,又亲自测试了发现只能调用local的ollama。

2024-07-12 20:06:30 924

原创 上海交通大学:2024大模型十大趋势

在人工智能迅猛发展的今天,大模型技术正逐步成为各行各业的重要驱动力。作为现代科技的前沿,大模型不仅在技术层面上取得了突破,更在应用领域内掀起了一场深刻的变革。本文将深入探讨2024年大模型技术的十大趋势,解析其对社会和产业的深远影响,带领读者走进一个全新的“机器外脑”时代。人工智能基础设施(AI Infra)的发展,是大模型技术进步的重要基石。随着生成式AI的快速演进,AI Infra的需求从算力设施层逐步扩展到数据和存储、模型开发和部署等更高层次。

2024-07-11 17:45:58 736

原创 Google再发大招!训练时间缩短13倍,算力需求砍掉90%!

Google DeepMind这帮疯狂研究员又搞出了一个叫JEST的玩意儿,能**把AI训练时间砍掉13倍,还能让算力需求直接腰斩90%!**这简直就像是给你家那台年久失修的老爷车装上了火箭推进器,一脚油门下去直接飞上月球!这帮Google的疯狂科学家们到底是怎么做到的呢?他们发明了一个叫**“联合样本选择”(Joint Example Selection,JEST)**的算法。这玩意儿就像是给AI模型找了个超级挑剔的私教,只挑那些最有"集体学习价值"的数据来训练。

2024-07-10 20:54:25 930

原创 Agent如何帮助大模型“增强记忆”?

记忆模块的应用虽然目前还处于探索阶段,但和其他模块简单的读写过程会不断让Agent存储其关键的事实、偏好和改进建议,从而能得到更好的表现、准确率和稳定性。记忆模块也是Agent学习以及经验的基础,在记忆之上,Agent不仅能够变得更加聪明,更能够具备“智慧”,如同长者一般解决“年轻”Agent难以解决的问题。希望未来,AI在通往AGI之路上,能够更多地研究记忆模块的各类妙用,探索其对模型能力的加持。

2024-07-10 20:39:46 720

原创 金融机构如何打造基于大模型的数字员工?

基于大模型的智能员工助手将帮助金融机构提升工作效率、降低运营成本、增强决策支持能力、改善客户服务体验,并在快速变化的市场环境中保持竞争力,同时满足日益增长的监管合规要求,推动金融创新和服务模式的转型。根据沙丘智库发布的《》,当前,这些用例都可以视为基于大模型的数字员工,利用大模型强大的语言理解、文本生成、知识表示和推理等能力辅助员工提高工作效率,从而有精力创造更多价值。沙丘智库长期跟踪调研大模型技术的发展,旨在帮助企业快速了解大模型最新、最全面的落地情况。

2024-07-10 20:25:40 683

原创 LEARN:百川大模型在快手推荐中的应用

这一两年推荐的论文工作离不开冷启和长尾问题,就像过去几年离不开序列和多目标一样,所套的壳子也从时序模型发展到对比学习和LLM,更像是“问题长期存在,我们现在有了更好的工具解决”,鸡生蛋与蛋生鸡总是这么的迷人和无所遁形。关于冷启动和长尾推荐,以往推荐模型主要的问题是对于ID的依赖,大部分模型学到的价值都是ID对应的Embedding向量,由此数据量不够时就效果甚微。分享一篇快手将百川大模型应用于推荐中的工作。

2024-07-09 20:55:48 938

原创 吴恩达开源 Translation Agent,反思工作流打造更精准译文

Translation Agent 的核心代码位于文件中。该文件包含了 Translation Agent 的主要功能函数,例如调用 OpenAI API、文本分块、翻译、反思、改进等。

2024-07-09 20:39:12 938

原创 未来20年,什么专业与职业才足够安全,不会被AI替代、还能干到40岁?

1小兄弟自有一些特殊情况在身:他不能算特别严格意义上的“应届生”,因为身体原因休学过+复读过,所以比同时参加考试的其他学生年长几岁。但这几年互联网圈和某些大厂传出来的“35岁就优化”的说法甚嚣尘上,所以他就越发有紧迫感和危机感。回到问题本身,专业与职业的选择本来就是因人而异的;而且它是个至少影响一个人10~20年的选择,所以如果我们事到临头才去做决定、或者不得不做决定,那很可能会让人持续痛苦很多年。2。”虽然这是一句调侃,但它充分暴露了当前、乃至很长一段时间AI的局限性——它只能模仿,而绝非创新;

2024-07-09 20:14:29 819

原创 从RAG到GraphRAG: 用知识图谱帮助RAG链接数据 — 海外GenAI公司Chanko实践

在AI对领域知识追求的探索中,我们从大型语言模型(LLM)的挑战到检索增强生成(RAG)和向量数据库提供的创新解决方案经历了复杂的路径。这一旅程将我们带到了一种新的RAG方法,即知识向量图谱。通过将向量搜索与图遍历无缝集成,我们正处于释放AI全面潜力以理解、连接和利用广阔知识领域的前沿。AI的未来不仅仅是信息的处理,而是将其编织成一幅相互连接的理解图谱,可以改变企业运营和决策的方式。知识向量图谱是我们朝着这个未来迈出的一步。

2024-07-08 21:35:32 881

原创 Prompt工程师必备:复旦重磅 | 最佳RAG实践长什么样的?

总结模块就像是RAG系统的"信息压缩器"。研究比较了Recomp和LongLLMLingua两种总结方法。结果表明,Recomp方法在性能上略胜一筹。然而,研究者也发现,在某些情况下,完全移除总结模块反而能获得更好的性能和更低的延迟。这一发现为Prompt工程师提供了一个重要的设计思路:总结模块并非必不可少,其使用与否应该根据具体应用场景和系统要求来决定。在一些对实时性要求极高的应用中,可以考虑省略总结步骤以提高响应速度。在实际应用中,工程师可以考虑实现自适应总结策略。

2024-07-08 21:21:26 814

原创 3K star!为RAG而生的数据清洗神器

现在的AI时代,人工智能和大模型的能力很大程度上依赖于数据的质量,但是 数据具有不同的形状和大小,因此处理数据非常具有挑战性。今天我们分享一个开源项目,它为微调或者RAG而生,将任何非结构化数据转换为结构化,它就是:OmniParse是什么OmniParse 是一个平台,它可以提取和解析任何非结构化数据,将其转换为针对 GenAI (LLM) 应用程序优化的结构化、可操作数据。

2024-07-08 20:55:08 949 1

原创 用coze零代码搭建一个知识库助手

本篇文章主要通过 coze(下文统称为“扣子”)平台搭建一款智能体应用来进一步和大家分享对 Agent 的理解。

2024-07-07 10:45:00 828

原创 综述:大语言模型在信息抽取上的应用

发布时间:2023 年 12 月 29 日知识图谱信息抽取(IE)致力于从自然语言文本中提炼出结构化知识,如实体、关系和事件。生成型大型语言模型(LLMs)近期在文本理解和生成领域大放异彩,展现出跨领域的泛化能力。鉴于此,众多研究纷纷利用 LLMs 的潜能,为 IE 任务提供了基于生成范式的创新解决方案。本研究旨在对 LLMs 在 IE 领域的应用进行深入的系统回顾,我们首先根据 IE 子任务和学习范式对相关工作进行分类概述,随后实证分析了前沿技术,揭示了 LLMs 与 IE 任务结合的新趋势。

2024-07-06 10:45:00 761

原创 TCMBench: 用于评估中医药领域大型语言模型的全面基准

大型语言模型(LLM)在各种自然语言处理任务中通过基准测试表现出色,包括在西医领域。然而,中医药(TCM)领域尚未涵盖专业评估基准,该领域历史悠久且影响深远。为了填补这一研究空白,我们介绍了TCMBench,一个用于评估LLM在中医药领域表现的全面基准。它包括TCM-ED数据集,包含来自TCM执业资格考试(TCMLE)的5,473个问题,包括1,300个具有权威分析的问题。它涵盖了TCMLE的核心组成部分,包括中医药基础和临床实践。

2024-07-05 20:38:53 834

原创 AI赋能企业:选择适合你的大模型业务架构

在现代企业中,大模型业务的应用越来越广泛,主要体现在AI Embedded模式、AI Copilot模式和AI Agent模式这三种架构。本文将详细探讨这三种模式,分析它们的特点和适用场景,并对如何选择合适的大模型业务架构提出建议。

2024-07-04 20:04:12 359

原创 解锁语言模型的潜力:Prompt 优化指南

大型语言模型 (LLM) 作为近年来人工智能领域的明星技术,以其强大的文本生成、翻译、问答等能力,吸引了广泛的关注。然而,LLM 并非魔法,其能力的发挥很大程度上取决于我们如何与之“沟通”,即如何编写有效的 Prompt。想象一下,LLM 就像一位技艺精湛的画家,而 Prompt 则是你提供的画布和颜料,以及对作品的期望描述。Prompt 的质量直接影响着最终作品的风格和效果。因此,优化 Prompt 是充分发挥 LLM 潜力的关键所在。1. 打好基础:清晰、完整地描述任务。

2024-07-03 20:21:49 725

原创 DIIRC重磅发布:2024大模型行业应用十大典范案例集

6月5日,由数字产业创新研究中心主办,锦囊专家、首席数字官承办,中国软件行业协会CIO分会、中关村天使投资联盟协办的“2024中国数字企业峰会–成果发布日”成功于线上举办。《2024大模型行业应用十大典范案例集》在百余位行业专家、业内同仁的云端见证下重磅发布。。评委会专家针对典型性、实效性、创新性、复杂性和推广性5个维度,对候选案例进行评估,分别择优10个入选编入《2024大模型行业应用十大典范案例集》,本案例集汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

2024-07-03 19:59:37 593

原创 阿里云白皮书:GenAI落地,企业如何选择大模型?

生成式人工智能(Generative Artificial Intelligence, GenAI)即将迎来全面爆发,各行各业必须为此做好准备。本报告从企业视角出发,聚焦技术,阐述GenAI在企业落地时的关键考量点,提出了“选-育-用”方法论,覆盖了从模型和技术路线的选择,到如何培育适合企业的大模型,并将其广泛应用在企业流程实现全面创新的全生命周期,为企业规模化GenAI落地提供指导。

2024-07-02 22:32:44 918

原创 算法岗哀鸿遍野,部署工程师却成为香饽饽

去年算法岗秋招哀鸿遍野,根据目前知乎与脉脉上各大企业HR发布的数据,达到了恐怖的100:1,计算机视觉岗位尤其如此。究其原因,随着深度学习的框架越来越便利,开源代码越来越丰富,(不论是计算机、自动化、数学等理工科专业的同学,还是经管类、商科类专业的同学,多多少少都跑过深度学习模型)之前我们总是想尽办法追求算法能达到多少准召率,但在实际落地时却发现这些SOTA推理太慢,压根不符合实际,比如自动驾驶中希望图像或点云感知算法能达到100-200Hz,但大部分算法只能达到30-50Hz。这时!

2024-07-02 22:09:34 297

原创 使用 LangGraph 构建可靠的 RAG 代理

在这里,我们将使用 LangGraph、Groq-Llama-3 和 Chroma 构建可靠的 RAG 代理。我们将结合以下概念来构建 RAG 代理。自适应 RAG (论文我们已经实现了本文中描述的概念,构建了一个路由器,用于将问题路由到不同的检索方法。校正 RAG (论文我们已经实现了本文中描述的概念,开发了一个回退机制,用于在检索到的上下文与所问问题不相关时继续进行。自身 RAG (论文我们已经实现了本文中描述的概念,开发了一个幻觉评分器,即修正那些产生幻觉或未回答所问问题的答案。

2024-07-01 11:45:00 1017

原创 清华智谱全家桶技术报告:GLM-130B到GLM-4的系列大型语言模型综述

1)

2024-07-01 10:45:00 632

原创 企业级 AI大模型部署白皮书 2024

01 2023年,大模型元年,这一次真正撼动了人类中国大模型的发展呈现出蓬勃生机,形成了多元共进、创新竞发的活跃态势AI大模型发展关键节点LLM开启的生成式人工智能到底可以解决什么问题,与之前相比,进化在哪儿?企业由数字化阶段迈入智能化阶段,AI能力成为企业核心能力核心观点:智能化是互联网化、数字化的延伸而不是颠覆,演进过程中,技术的价值从过程逐步向结果转移;未来企业,组织形态将会被重构,组织边界模糊,组织结构灵活机动,以AI为核心重新定义;企业的AI能力(含“AI”量)成为核心能力。

2024-06-30 20:22:38 758

原创 人工智能(AI)在智慧工业园区的应用场景

在科技迭代裂变的浪潮中,人工智能(AI)正以其独有的力量,深刻改写着现代社会的工业图景。智慧工业园区,作为这一变革的先锋阵地,正以AI为轴心,编织着工业与智能的交响曲。本文旨在抛砖引玉开启一扇洞见未来的窗口,揭示AI如何在智慧工业园区的舞台上大放异彩,从强化应急响应到智能安防,从优化停车管理到引领零碳转型,勾勒出工业智能化的瑰丽景象,推动工业体系向更高效、更安全、更绿色的彼岸迈进。

2024-06-29 22:04:53 1053

原创 RAG 与 RAU:综述 | 检索增强语言模型进展

文本摘要是语言模型应用的关键领域,其核心在于生成简洁而流畅的摘要,同时保留关键信息的内容和主旨。目前,文本摘要任务主要分为两种形式:抽取式和生成式。RA-DIT(Lin 等人,2023b)采用 CNN/DailyMail 数据集优化模型的语言模型部分,通过命令微调操作,在文本摘要任务上展现了显著效果。

2024-06-29 21:39:29 617

原创 RAG + LlamaParse:高级 PDF 解析与检索

支持的文件类型:PDF、.pptx、.docx、.rtf、.pages、.epub 等…转换的输出类型:Markdown、文本提取能力:文本、表格、图像、图表、漫画、数学方程定制解析指令:由于 LlamaParse 是 LLM 启用的,您可以像提示 LLM 一样传递指令。您可以使用此提示描述文档,从而为 LLM 在解析时提供更多上下文,指示您希望输出的外观,或要求 LLM 在解析过程中执行预处理,如情感分析、语言翻译、摘要等…JSON 模式。

2024-06-29 21:15:51 889

原创 AI模型训练数据准确性和输出统计精确度

准确性是GDPR的基本原则之一。这一法律原则要求数据控制者确保处理的个人数据“准确,必要时保持最新”,并“采取一切合理的步骤……确保在处理目的的范围内,个人数据不准确时应立即删除或更正”。

2024-06-29 20:03:43 816

原创 25K Stars! Open WebUI + Ollama + Llama3搭建本地私人ChatGPT

通过ollama可以让我们在本地跑开源大模型(Llama 3、通义千问等),但命令行界面并不友好,操作不方便。搭配一个友好的GUI界面,可以大大提高使用体验。试试Open WebUI吧!它是一个可扩展的、功能丰富的、用户友好的自托管 WebUI,设计用于完全离线操作。它支持各种语言模型(LLM)运行器,包括 Ollama 和兼容 OpenAI 的 API。让我们一起解锁开源大模型新体验。安装ollama,并下载模型llama3安装Open WebUI(docker一键安装)

2024-06-28 20:58:15 901

原创 基于Llama 3 构建RAG语音助手:将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

RAG工作流帮助我们管理和利用来自各种来源的数据,以提供准确和相关的结果。从不同的来源收集数据,如文本文件、PDF、网站、数据库或API。例如,Llama Hub提供了许多连接器,使这一步骤更容易。在索引阶段,系统将原始数据转换为向量嵌入并组织它们。使用句子转换模型将每个文档或数据片段转换为捕捉语义含义的高维向量。然后将这些向量组织成高效的数据结构,通常是n维树或哈希映射,以实现快速的相似性搜索。保存索引数据和标签,以便以后无需再次组织。将查询转换为向量,并使用余弦相似度或其他距离度量与索引向量进行比较。

2024-06-28 20:32:18 679

原创 GPT-4在医疗领域的革命性应用

本文探讨了GPT-4如何通过其先进的技术,在医疗领域发挥重要作用,包括为患者和专业人士提供准确的医学信息、辅助医学研究、改善临床决策流程,以及缓解医疗人才短缺问题。

2024-06-28 20:02:52 838

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除