- 博客(456)
- 收藏
- 关注
RSS订阅原创 大模型RAG最佳实践指南
今天给大家分享一个比较干的研究论文，作者们来自复旦大学。大模型时代的RAG已经经过一年多的锤炼，各种高级RAG技巧层出不穷，那到底什么技巧是有用的，哪些技巧搭配到一起才是最有效的呢？检索增强生成（RAG）技术已被证明可以有效地整合最新信息、减轻幻觉和提高响应质量，特别是在专业领域。尽管已经提出了许多 RAG 方法来通过依赖于查询的检索来增强大型语言模型，但这些方法仍然存在复杂的实现和较长的响应时间。通常，RAG 工作流程涉及多个处理步骤，每个处理步骤都可以通过多种方式执行。
2024-09-19 20:09:30
550
原创 人人都在AI的时代，Java程序员不应该被落下
随着人工智能技术的迅猛发展，大模型（Large Language Models, LLMs）正逐渐成为IT行业的热点。对于Java程序员来说，转行大模型领域不仅意味着新的机遇，也面临着诸多挑战。本文将探讨Java程序员转行大模型的机遇与挑战，以及如何顺利实现转型。技术升级：大模型领域的技术不断迭代，Java程序员可以通过学习大模型相关技术，提升自己的技术水平，实现职业成长。市场需求：随着AI技术的广泛应用，大模型领域的市场需求不断增长，为Java程序员提供了丰富的就业机会。
2024-09-19 20:08:40
479
原创 Nature | 通用医学AI的基础模型
通用医学AI是一类先进的基础模型，具备处理多种医疗任务的能力，而无需针对每个具体任务进行单独训练。与传统的AI模型不同，GMAI可以通过少量或无需标注数据，灵活应对不同的医疗需求。这种模型通过在大规模、多样化的数据集上进行自监督学习，能够理解和整合来自影像、电子健康记录（EHR）、组学、实验室结果等多种数据类型，生成详细的诊断报告、治疗建议甚至蛋白质设计方案。图1 | GMAI模型概况a. GMAI在多种医学数据模态上通过子监督学习进行训练。
2024-09-19 20:07:48
656
原创 OpenAI o1的架构流程已被Claude破解了？
最近在reddit论坛中，有网友向Claude 提供了 OpenAI 发布的信息（包括系统信息、博客文章、GPT o1作者之一Noam Brown 等人的推文、ARC竞赛团队的测试评论）以及与 o1 模型相关的在线讨论（Reddit、YouTube 视频），最终通过逆向工程的方法推测出了OpenAI o1可能的架构流程：Noam Brown是德扑AI之父，毕业于卡内基梅隆大学，他于2023年7月从Meta离职后加入OpenAI，在OpenAI担任研究科学家，是GPT o1的主要作者之一。
2024-09-18 20:35:46
561
原创 据说是生成代码最厉害的Prompt（提示）
基于 GPT 4.5 背后的 Q*(草莓)技术框架的专为 Coding(写代码）的 System Prompt。
2024-09-18 20:34:24
577
原创 从国内外10个智能体案例，看AI Agent在教育领域的应用
AI智能体如何落地教育？盘点AI Agent在教育领域应用的10个案例从国内外的10个智能体案例，透视AI Agent在教育领域的应用AI Agent在教育领域有哪些应用价值和应用场景？10个案例告诉你经历了一年多的发展，AI Agent正在越来越多地参与到教育工作之中。Toby Hudson 构建了一个Agent用于支持他的化学基础单元的学生。这个Agent以教育公平为目标，有助于缩小专业学生与以前没有学习过化学的学生的学习差距。
2024-09-18 20:33:35
982
原创 赋能百业：多模态处理技术与大模型架构下的AI解决方案落地实践
AI 语音交互大模型其实有两种主流的做法：All in LLM多个模块组合， ASR+LLM+TTS实际应用中，这两种方案并不是要对立存在的，像永劫无间这种游戏的场景，用户要的是低延迟，无障碍交流。并且能够触发某些动作技能。这就非常适合使用成熟的 ASR 和 TTS 技术来负责音频的处理，而 LLM 就可以专门做用户意图的理解。
2024-09-17 10:45:00
674
原创 我的第一个智能体员工：Python代码终结者
在数据分析过程中，数据的可视化尤为重要。在实际测试过程中，我发现大模型产生的代码有机率会有错误，执行返回error，所以需要再次迭代修复一下代码，这个功能在Code Interpreter里面是自动修复的，目前豆包的插件还不支持，只会返回执行的错误信息，所以我加了一个快捷指令“该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
2024-09-16 10:45:00
727
原创 ICML 2024 | 利用不基于领域知识的扩散模型增强无监督对比学习
无监督对比学习在视觉和生物学等领域获得了广泛关注，通过预定义的正/负样本进行表征学习。数据增强方法被划分为手工设计和基于模型的方法，已被确定为增强对比学习的重要组成部分。然而，手工设计的方法需要人类在特定领域数据方面的专业知识，有时会扭曲数据的实际含义。相比之下，基于生成模型的方法通常需要有监督或大规模的外部数据，这成为了许多领域中模型训练的瓶颈。为了解决上述问题，本文提出了一种名为DiffAug的新型无监督对比学习技术，该技术基于扩散模型生成正样本。
2024-09-15 10:45:00
1171
原创 AI Agent在健身行业落地应用案例研究
GymNation拥有 20 家门店，是地区领先的健身房运营商，拥有超过 90,000 名会员。他们面临着管理庞大会员群、大规模个性化体验、改进销售流程、提高会员保留率和提供全天候支持的挑战解决方案：利用 LlamaIndex 的 AI Agent在尝试了各种方案后，GymNation 选择了 LlamaIndex，因为它性能卓越且易于实施。：GymNation 使用 LlamaIndex 创建了一个企业 RAG 层，用于 LLM 上下文增强。如下所述，多个Agent都利用了这一点。
2024-09-14 17:46:39
848
原创 【34.2k star!】Suno开源Bark语音模型，手把手带你实操部署，体验逼真的文字转语音和AI创曲~
Bark 是由 Suno 创建的一种基于 Transformer 的文本到音频模型。它遵循与 AudioLM 和 Vall-E 类似的 GPT 风格架构，并采用了 EnCodec 的量化音频表示。它不是一个传统的文本到语音（TTS）模型，而是一个完全生成式的文本到音频模型。Bark 能够生成非常逼真的多语言语音以及其他类型的音频，包括音乐、背景噪音和简单的音效。该模型还可以产生非语言交流，如笑声、叹息和哭泣声。在huggingface社区下载量也高达33.8k!
2024-09-13 20:17:29
775
原创 【实测体验】OpenAI震撼发布o1大模型！
今天凌晨一点，OpenAI 悄无声息地发布了 OpenAI o1。风声四起的Q*模型，最早的消息来自去年十一月份。而前段时间一直在预热，代号为“草莓”的模型也宣传在几周内的秋季发布。据官方消息，这个系列的模型可以推理完成复杂任务，并解决许多以前的模型解决不了的问题。今天，它们终于现出真身，以 o1 为正式名字，闪亮登场！模型名字中的 o 指代的是 Orion「猎户座」，而 o1 名字中“1”的由来在开发文档中得到了解释：对于复杂的推理任务来说，这是一个重大进步，代表了人工智能能力的新水平。
2024-09-13 20:15:51
792
原创 RAG高级优化：一文看尽query的转换之路
1 -查询重写重新表述查询以改进检索。# example query over the understanding climate change dataset``original_query = "气候变化对环境的影响是什么?# example query over the understanding climate change dataset``original_query = "气候变化对环境的影响是什么?
2024-09-12 21:22:11
994
原创 LLM推理速度快速预估
原文：www.jinghong-chen.net/estimate-vram-usage-in-llm-inference通过几行计算，您就能估算出大语言模型（LLM）推理所需的首token时间（TTFT）、每输出token时间（TPOT）以及显存的需求。我将以Llama-7B为实例，向您展示具体操作方法。LLM推理主要分为两个阶段：预填充和解码。在预填充阶段，模型处理输入上下文，并计算其embedding表示。而在解码阶段，模型则基于输入上下文和之前已生成的所有令牌，逐个生成新的令牌。
2024-09-12 21:19:23
821
原创 使用 Ollama、Llama 3.1 和 Milvus 实现Function Calling 功能
诸如 GPT-4、Mistral Nemo 和 Llama 3.1 之类的大语言模型（LLMs）现在可以检测何时需要调用函数，然后输出包含调用该函数参数的 JSON。这一突破能够有效提升您的 AI 应用的能力。
2024-09-11 20:36:18
1114
原创 高效多模态大模型与世界模型技术综述：多模态思维链、多模态指令调整、多模态上下文学习...
多模态大型模型（MLMs）正成为重要的研究焦点，它们结合了强大的大型语言模型和多模态学习，以在不同数据模态上执行复杂任务。本综述探讨了MLMs的最新发展和挑战，强调了它们在实现人工通用智能和作为通往世界模型的途径方面的潜力。我们提供了关键技术（如多模态思维链（M-COT）、多模态指令调整（M-IT）和多模态上下文学习（M-ICL））的概览。此外，我们讨论了多模态模型的基础和特定技术，突出了它们的应用、输入/输出模态和设计特点。尽管取得了显著进步，但开发统一的多模态模型仍然难以捉摸。
2024-09-11 20:34:11
1892
原创 论文风向变了！迁移学习+多模态融合才是王道！性能爆炸好
多模态如今是越来越火了，与之相关的研究方向在各大顶会基本都成了投稿热门，趁着这波风向，我也给想发论文但找不着idea的同学推荐一个创新思路：迁移学习+多模态融合。这种结合可以轻松搞定提高性能这一核心问题，通过将源领域学习到的多模态知识迁移到目标领域，就可以快速适应目标领域的任务需求。不仅如此，这种在不同模态之间实现更有效知识传递和信息融合的能力，也能提高模型在新任务上的准确率。比如胸部X光模型MultiFusionNet，在两类分类中取得了99.6％的高准确率。为了让大家更好的掌握这个创新思路，然后运用到自
2024-09-11 20:32:43
839
原创 一文彻底搞懂Fine-tuning - 训练和推理（Training vs Inference）
Inference如何评估模型性能？模型评估（Evaluation）是指对训练完成的模型进行性能分析和测试的过程，以确定模型在新数据上的表现如何。Evaluation分类任务常见的评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数（F1 Score）等。Evaluation。
2024-09-09 20:32:57
708
原创 智能文档分块：提升RAG系统性能的秘诀
在数字化时代，处理和分析大型文档的任务变得日益复杂。本文将深入探讨一种新技术，它通过智能分块优化了检索增强型生成（RAG）系统的性能。RAG系统是一种先进的机器学习模型，它结合了检索和生成技术，以提高输出内容的质量和相关性。系统的工作流程分为两个阶段：检索阶段和生成阶段。：系统首先根据输入查询检索相关文档或信息。这个阶段依赖于搜索算法和索引方法，从大量数据中快速识别最相关的数据。：一旦检索到相关文档，通常使用基于变换器的语言模型（如GPT-4）作为生成模型，以创建连贯且上下文合适的响应。
2024-09-09 20:30:24
810
原创 代码数据在预训练时要训吗？训多少？退火时要放吗？
在预训练的冷却阶段包含代码数据，并增加高质量数据集的权重，相较于冷却前的模型，自然语言推理能力提升了3.6%，世界知识提升了10.1%，代码性能提升了20%。论文的框架见figue1，总结了作者的实验。首先对实验的数据有个感知：对于。
2024-09-09 20:29:05
1002
原创 Mini-Omni：边听、边说、边思考多模态大模型，对标GPT-4 Omni
是一个开源多模型大型语言模型，可以一边听、一边说，一边思考。具有实时端到端语音输入和流音频输出对话功能。Mini -Omni模型架构。Mini-Omni训练方法分为三个不同的阶段：模态对齐。此阶段的目标是增强文本模型理解和生成语音的能力。Mini -Omni的核心模型完全冻结，仅在两个适配器中允许梯度。在此阶段，我们使用来自语音识别和语音合成的数据来训练模型的语音识别和合成能力。适应性训练。一旦新模态与文本模型的输入对齐，适配器就会被冻结。
2024-09-07 10:45:00
925
原创 可图开源专属 ControlNet 模型以及 Inpainting 模型，更多玩法，更强生态！
前 言就在这几天，可图又有新动作了，继续开源了可图专属的 Depth「深度」 和 Canny「边缘检测」 两种 ControlNet 模型，以及 Inpainting 图像修复模型。ControlNet 模型小伙伴应该都不陌生了，控制模型，可以让我们对生成图片的结果更加可控，以及做一些更加精细化的操作。Inpainting 图像修复模型，可能用到的人会少一些，主要就是针对图生图，可以对原图进行蒙版编辑并保持很好的融合效果。好了，话不多说，我们直接开整。
2024-09-06 20:46:17
847
原创 都是通义千问，Qwen2-7B和Qwen1.5-14B怎么选
最近有位粉丝提问，说他有个项目，开发的时候用的是Qwen1.5-32B模型，正在考虑给客户部署，但是客户的资源有限，可以部署14B的模型。他现在在纠结是给部署Qwen1.5-14B还是最新的Qwen2-7B。首先，选择Qwen2-7B还是Qwen1.5-14B主要取决于项目对模型性能的需求和应用场景。
2024-09-06 20:23:40
593
原创 如何将 39.3k 的开源知识库 Dify 接入微信
在渐渐熟悉 Dify 的各个功能后，我们已经不满足于只在 PC 端或者说需要打开网页才可以使用 Dify 了。我们更希望的是。那？这里介绍一下 Dify 生态圈中的一个开源项目——，运行这个项目，我们可以将 dify 应用轻松地接入到微信中，使我们可以随时随地都可以访问到 dify 应用。在 Dify 上创建完成之后我们至此，在 Dify 这一侧的准备工作就算做好了。这里如果你使用的是云服务器进行部署的，那么服务器地址是可以被公网访问的。但是如果是在，那么就。
2024-09-06 20:22:48
952
原创 爆火的与文档聊天的 RAG 开源工具，支持 GraphRAG 、多模态问答和多种复杂推理！
在当今信息爆炸的时代，我们每天都在与海量的文档打交道，无论是研究报告、学术论文还是日常的工作文件。随着数据量的不断增长，如何高效地从这些文档中提取所需信息成为了一个挑战。随着 AI 技术的发展和 RAG 技术的出现，前面遇到的问题，有了一个很不错的解决方案。将您的文档转化为一个智能的知识库，让您能够通过简单的对话就能获取深入的洞察和答案。本文 Kakuqo 将介绍近期 Github 上非常火爆的开源项目 ——。是一个基于 RAG 的开源工具，让你可以轻松地与您的文档 “聊天”💬。
2024-09-05 20:06:45
1056
原创 开源提示词让LLM更具创造力
GitHub上开源了一个提示词，用户只需将这些提示词输入LLM，就能解锁LLM的“思维发散”模式，让LLM提出更多新颖的想法，当你做需要做创作力的任务时，尤为好用。这就是Rohan Paul花费好几个月制作的“SuperPrompt”项目，如果你看不懂提示词也没关系，其本质就是使用’'标签，定义了LLM的一系列行为，包括其想法、动作、内核、分析、验证等过程。
2024-09-05 20:05:44
756
原创 人工智能大模型的数据治理
为提高人工智能大模型全生命周期的价值和性能，推动大模型在各行各业落地应用，需要把以数据为中心的人工智能理念和技术贯穿于大模型全生命周期。在分析大模型数据治理的内涵特征、必要性、特殊性及重点内容等基础上，针对大模型的规划设计、预训练、评估、部署推理、运维监控、退役（迭代）等全生命周期关键阶段，分阶段确定数据治理的框架、对象、重点任务和技术策略，以期为大模型的数据治理提供全景式的逻辑框架和全流程的技术参考。
2024-09-05 20:05:05
1264
原创 绝了！57000字，77章节，23个案例，600+张图，这个智能体资料把扣子Coze操作彻底讲明白了
智能体在AI时代有多火，看看这么多人工智能专家给智能体站台就知道了。吴恩达教授就非常看好智能体。认为是通往AGI的必要路径。移动互联网时代，开发App让不少开发者实现财富自由。在AI时代，智能体就起到了App的作用。而且还是低代码平台，普通人也可以上手做。我从5月份开始接触智能体，主要是用的Coze。3个多月的时间写了不少关于Coze的文章。在Coze上根据商用场景也做了不少机器人。接了一些商单更关键的是在这个过程中，认识了不少在对智能体感兴趣的朋友。经常在一起交流智能体的知识。
2024-09-04 20:23:05
924
原创 基于强化学习的倒立摆平衡控制算法matlab仿真
2.奖励函数设计通过强化学习方法解决倒立摆的平衡控制问题不仅展示了机器学习在控制领域中的应用潜力，也为解决其他复杂的非线性控制问题提供了新的思路。随着计算资源的不断进步和算法研究的深入，强化学习将在更多领域展现出其独特的优势。然而，值得注意的是，强化学习的成功实施还面临许多挑战，如样本效率、泛化能力等问题，这些都是未来研究的重要方向。
2024-09-04 20:22:13
1336
原创 终于把Transformer中的注意力机制搞懂了！！
今天给大家详细介绍一下 Transformer 中的自注意力机制。Transformer 中的自注意力机制是该模型的核心组件之一，。
2024-09-04 20:20:04
818
原创 知识图谱技术——知识图谱应用
在大模型时代，知识图谱作为一种结构化的知识表示方式，扮演着至关重要的角色。随着大模型在自然语言处理、图像识别和智能决策等领域的广泛应用，知识图谱与大模型的结合成为推动人工智能进步的重要方向。这种结合不仅提升了大模型的语义理解和推理能力，还增强了其在多模态数据处理、模型解释和持续学习等方面的表现。接下来，我们将探讨几种最为关键的结合点，展示知识图谱如何与大模型协同工作，推动前沿应用的发展。：将知识图谱中的实体和关系嵌入到向量空间中，然后将这些向量作为大模型的额外输入或用于对模型输出进行增强。
2024-09-03 20:01:17
1115
原创 深度学习如何训练出好的模型
深度学习在近年来得到了广泛的应用，从图像识别、语音识别到自然语言处理等领域都有了卓越的表现。但是，要训练出一个高效准确的深度学习模型并不容易。不仅需要有高质量的数据、合适的模型和足够的计算资源，还需要根据任务和数据的特点进行合理的超参数调整、数据增强和模型微调。在本文中，我们将会详细介绍深度学习模型的训练流程，探讨超参数设置、数据增强技巧以及模型微调等方面的问题，帮助读者更好地训练出高效准确的深度学习模型。
2024-09-03 19:59:31
1225
原创 从RAG到TAG：探索AI与数据库的完美结合
TAG模型提出了一个统一的框架，将自然语言问答过程分为三个主要步骤：查询合成(Query Synthesis): syn® → Q 将自然语言请求R转换为可执行的数据库查询Q查询执行(Query Execution): exec(Q) → T在数据库系统中执行查询Q，得到相关数据T答案生成(Answer Generation): gen(R, T) → A 利用原始请求R和检索到的数据T，生成最终的自然语言答案A。
2024-09-02 20:06:54
1116
原创 一文彻底搞懂大模型 - 语言模型的发展历程
输入：NNLM的输入是一个固定长度的前文单词序列，用于预测下一个单词。每个单词通常由其词嵌入（word embedding）表示，即将单词映射到连续的向量空间中。结构：NNLM通常包含一个嵌入层（embedding layer），用于将输入的单词转换为连续向量表示；一个或多个隐藏层（hidden layers），用于学习输入序列的语言结构；以及一个输出层（output layer），输出下一个单词的概率分布。
2024-09-02 20:05:59
1151
原创 简洁思考：输出长度对大型语言模型推理和成本的影响
论文标题：Concise Thoughts: Impact of Output Length on LLM Reasoning and Cost论文链接：https://arxiv.org/pdf/2407.19825当今的大型语言模型（LLMs）能够解决具有挑战性的问答任务，而诸如思维链（CoT）等提示工程技术因其增强输出解释和正确性而受到关注。然而，模型生成附带详细推理细节的答案需要大量时间。为了解决这一问题，本文分析了输出长度对LLM推理管道的影响，并提出了新的指标来评估其正确简洁性。
2024-09-02 20:03:39
953
原创 模型量化技术综述：揭示大型语言模型压缩的前沿技术
量化旨在将模型参数的精度从高位宽（如32位浮点数）降低到低位宽（如8位整数）。在减少表示原始参数的位数时，通常会有一些精度（细粒度）的损失。为了说明这种效应，我们可以拿任何一幅图像，仅使用8种颜色来表示它。放大部分看起来比原图更“粗糙”，因为我们用更少的颜色来表示它。量化的主要目标是在尽可能保持原始参数的精度的同时，减少表示原始参数所需的位数（颜色）。
2024-09-01 10:45:00
852
原创 AI编程，10小时2个产品，从Claude Sonnet到Cursor，产品经理的天要变了！
它是干啥的呢？顾名思义，就是一个一键完成Chrome标签页自动分组的工具。Chrome是大部分人使用的浏览器工具，我们会用它打开大量的网页。插件是可以根据大家自定义的域名规则，一键完成自动分组：比如我把即刻和微博网页分到了社交媒体组，把我自己飞书文档的网页也都放到一组，这样对于标签的管理就会变得更加的简洁方便。他是每一次创建自动的为大家分组一次，分组完之后，你仍然可以把标签进行各种拖动，在前面的图我就把flomo拖到了黄书飞书的组里面。
2024-08-31 20:45:02
1324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人