- 博客(422)
- 收藏
- 关注
RSS订阅原创 AI 大模型算力芯片产业深度分析 2024
算力需求爆发拉动芯片量价齐升ChatGPT热潮席卷全球。ChatGPT（Chat Generative Pre-trained Transformer）是由OpenAI于2022年12月推出的对话AI模型，一经面世便受到广泛关注，其2023年1月月活跃用户达到1亿，是史上月活用户增长最快的消费者应用。在问答模式的基础上ChatGPT可以进行推理、编写代码、文本创作等等，这样的特殊优势和用户体验使得应用场景流量大幅增加。1、▲芯片需求=量↑ x 价↑ ， AIGC拉动芯片产业量价齐升。
2024-07-21 10:45:00
403
原创 探索而后决定：一种针对知识图谱推理的GNN-LLM协同框架
在知识图谱（Knowledge Graphs, KGs）上进行推理对于大型语言模型（Large Language Models, LLMs）而言是一项重大挑战，这主要是因为知识图谱的复杂结构以及包含的大量不相关信息。现有的LLM推理方法忽视了在知识图谱上进行组合学习以提供精确知识的重要性。此外，对LLM进行微调以及频繁的交互会产生巨大的时间和资源成本。
2024-07-20 10:45:00
1588
原创 OpenAI突发新模型，GPT-3.5退役，大模型成本2年骤降99%
OpenAI突发新模型，全面取代老去的GPT-3.5。每百万输入tokens，15美分（约1.09元人民币）每百万输出tokens，60美分（约4.36元人民币）在ChatGPT应用中，GPT-3.5已经完全退役，免费用户已可使用GPT-4o mini模型。对应的API也已经开放，支持128k输入tokens（图像和文本），更令人瞩目的是支持。相比之下，隔壁Claude 3.5 Sonnet几天前刚刚升级8k输出tokens。
2024-07-19 19:50:02
831
原创 大模型10倍生成速度提升：探索MInference优化长文本处理的奥秘
这篇论文介绍了一种名为"MInference"的技术，用于加速长上下文语言模型（LLM）的预填充阶段。由于LLM计算量大，导致在单个GPU上进行预填充时需要花费很长时间，并且经常无法保持准确性。为了解决这个问题，作者提出了动态稀疏注意力算法，可以有效减少长序列处理的时间和计算成本。该技术能够在不修改原始模型的情况下显著降低推理延迟并提高准确率。实验结果表明，在一个A100 GPU上，对于1M上下文长度，MInference能够实现高达10倍的速度提升，并且与基准线相比表现得更好或相等。
2024-07-18 22:06:16
797
原创 大模型面经——关于大模型幻觉问题的深化理解
本篇来讲具体的幻觉问题的度量方法与缓解方案，来具体解决某些应用场景下的问题，例如：应用于医疗垂直领域时如何判断大模型生成的内容是否存在幻觉？应用于文档生成领域时如何判断生成内容与参考材料之间是否一致？下面是一个本篇的快捷目录。1. 幻觉问题如何量化2. 如何缓解幻觉问题3. 大模型在哪些问题上最容易出现幻觉4. 幻觉一定有害吗？一、幻觉问题如何量化应用于垂直领域时，由于存在一些领域内比较经典的命名实体词汇以及经典的实体关系三元组，因此量化幻觉问题可以基于这一点。
2024-07-18 21:53:20
536
原创 AIGC 前沿研究：微软开源的GraphRAG爆火；清华团队提出智能体互联网（IoA）框架；首个视频自训练方法...
本月初，微软发布最强 RAG 知识库开源方案，项目上线即爆火，现在星标量已经达到 10.5k。项目地址：官方文档：微软提出的利用 LLM 根据输入的文本库创建一个知识图谱。这个图谱结合社区摘要和图机器学习的输出，在查询时增强提示。图注：GraphRAG 和传统 RAG 对比结果是一种借助语言模型力量来探索无结构文本的新方法。这是一个在 Azure 上运行的快速启动项目，使得用户能够轻松启动和探索无结构文本。的核心技术是基于语言模型，可以有效处理、分析并提取无结构文本中的关键信息。
2024-07-17 20:39:42
525
原创 Coze + Bot API：实现带自我反思的高质量长文翻译Agent（吴恩达方法）
很多人熟悉的吴恩达老师前段时间发布了一个开源项目，提出了一种利用LLM进行自我反思并完善的自动化长文翻译智能体，并给出了简单的原型代码，在国内也看到了开源RAG平台FastGPT对此流程的实现一键生成高质量长文翻译，吴恩达新方法颠覆传统！于是我们尝试在Coze平台上类似的实现一个翻译智能体，本文将简单分享这个过程。
2024-07-17 20:20:46
702
原创 GraphRAG项目雨后春笋般涌现！
蚂蚁首个对外开源的Graph RAG框架采用全自主的开源产品：DB-GPT（RAG的AI工程框架）+ OpenSPG（知识图谱系统）+ TuGraph（图存储系统）。随后Neo4j于13日开源了基于LLM提取知识图谱的生成器：llm-graph-builder教程：https://colab.research.google.com/drive/1IyttIWlsJKGWtWpc-QXDGbVok8fbud_j。
2024-07-17 19:55:16
664
原创 使用大模型实现可解释的股价预测
LLMFactor利用序列知识引导提示（SKGP）来识别影响股票走势的因素。通过填空策略指导LLMs创建背景知识，并从相关新闻中辨别可能影响股价的因素。在背景知识和识别出的因素的指导下，利用历史股票价格的文本格式来预测股票走势。在四个基准数据集上的广泛评估证明了其优越性和在金融时间序列预测中的有效性。
2024-07-16 20:56:08
919
原创 大模型算法专家面试手撕代码题回忆及答案
面试总结专栏两道大模型算法面试手撕代码回忆与总结。本期主要是回忆面蚂蚁和阿里大模型高级算法工程师时遇到的手撕代码题，并提供对应的代码。一、蚂蚁P7大模型算法面试手撕代码题目：写一个文本分类函数，分为三类：积极、消极、中性。判断一段文本的类别。注意：这个题目需要注意否定副词对分类的影响。解答：这里参照苏神的思路来解答，框架图如下。
2024-07-16 19:52:17
707
原创 RankRAG：基于排序增强的单一LLM问答生成框架
Retrieval-augmented generation (RAG) 已成为增强大型语言模型 (LLM) 的一项关键技术，使其能够处理专业知识、提供当前信息并适应特定领域，而无需改变模型权重。然而，当前的 RAG 流程面临着重大挑战。LLM 难以有效地处理大量分块的上下文，通常在较小的、高度相关的上下文集中表现更好。此外，在有限数量的检索到的上下文中确保相关内容的高召回率也带来了挑战。虽然单独的排序模型可以改进上下文选择，但与通用的 LLM 相比，它们的零样本泛化能力通常有限。
2024-07-15 21:32:43
788
原创 字节算法岗面试，效率贼高
技术面试主要问简历项目内容和专业相关知识，也有业务场景提出方案与策略。在回答业务场景并设计方案的时候，确实之前没有遇到过，所以感觉自己也答的磕磕绊绊，比较好的是，面试官最开始会详细讲解具体是什么场景。HR 面想在实习中学到什么/如果offer不过你会做什么/到岗时间和时长/在做项目的过程中遇到的困难/有无考博打算15分钟很快结束，我还以为凉了，后来发现好像基本都是这个时间。字节的面试流程很规范，每次都会hr提前联系约面。流程进度也很快，从面试到offer时间为10天。
2024-07-15 20:33:30
790
原创 大模型解决实际问题的能力，大模型的产品化过程
随着上海世界人工智能大会的结束，人工智能的应用被提上了日程。什么是人工智能的应用？人工智能的应用就是把人工智能技术与具体的应用或业务场景相结合的过程。而怎么把人工智能技术与应用场景相结合，以及与哪些应用场景相结合，就成为一个值得思考的问题。。
2024-07-14 10:45:00
857
原创 大白话！解析大模型原理！
LLM的工作原理对大多数人来说是个谜。虽然，并需要大量文本进行训练，但具体细节往往令人困惑。。尽管没人完全理解其内部机制，但研究人员正努力探索。本文旨在以非技术、非数学的方式解释LLM的工作原理，包括词向量、Transformer模型及其训练方式，以及为何需要海量数据来取得良好性能。理解语言模型工作原理，首要了解它如何表示单词。人类用字母序列表示单词，如"cat"为C-A-T。语言模型用长词向量列表表示单词，如"cat"表示为：[0.0074, 0.0030, -0.0105, … , 0.0002]。
2024-07-13 21:27:42
898
原创 引入GraphRAG的场景条件分析
获取图谱非常重要，但整个图谱的设计同样至关重要。在这个思想中，我们仅展示了使用知识图谱的基准数据集进行检索，省略了图表构建背后的故事。考虑到这一点，我们建议在继续任务的同时保持对节点是如何创建的，边是如何形成的，以及为什么语义以特定方式设置的基本问题。
2024-07-12 21:02:12
869
原创 Agent智能体？我们要的到底是什么
传统应用程序通常遵循预先定义好的规则和逻辑，而智能体则不同，它可以根据LLM的理解和判断，动态地选择下一步操作，这使得智能体能够处理更加复杂和不确定的任务。简单来说，智能体就是一个利用LLM来决定应用程序控制流程的系统，可以被视为一种能够自主决策和执行任务的系统。它通过与外部数据和计算资源的交互，来实现复杂的任务。智能体与传统应用程序的区别以LangChain生态为例，通过LangChain创建的很多LLM应用的工具，特别是那些作为推理引擎并与外部数据源和计算资源交互的系统，这些系统通常被称为智能体。
2024-07-12 20:36:19
629
原创 Prompt Engineer/提示工程师
自人工智能（AI）诞生之初，人们就担心它会抢走人类的工作。不过，AI也不断在创造新的职业，比如最近大火的“提示工程师”（prompt engineer），随着ChatGPT等语言类大模型（large language model）和Midjourney等图像生成程序（image generator）的爆红而需求剧增。什么是提示工程师？
2024-07-12 19:51:05
838
原创 “云计算一哥”深夜放大招：几分钟，纯靠Prompt打造一个App！
（Customization）的功能。简单来说，就是开发者现在可以在内部库、API、包、类和方法中找到更加相关的代码推荐了。例如一家金融公司的程序员，要编写一个函数来计算客户的总投资组合价值，那么他现在仅需在注释中描述意图或键入函数名称（如computePortfolioValue(customerId: String)）即可。而后Amazon Q Developer就会从私有代码库中学到的示例建议代码来实现这个功能，是更符合“本公司宝宝体质”的那种。如此一来便让生成式AI更加贴近程序员们的诉求：
2024-07-11 17:39:25
567
原创 微软&清华提出全新预训练范式，指令预训练让8B模型实力暴涨！实力碾压70B模型
现在的大模型训练通常会包括两个阶段：一是，即通过因果语言建模预测下一个token生成的概率。该方法无需标注数据，这意味着可以利用大规模的数据学习到语言的通用特征和模式。二是，即通过自然语言指令构建的多样任务对预训练模型进行微调，显著增强了任务泛化能力。最近，微软与清华提出了（Instruction Pre-Training）的新方法，该方法在第一阶段引入指令—响应对的数据，采用监督多任务学习来探索预训练语言模型的新途径。
2024-07-10 20:47:04
957
原创 LangChain：如何高效管理 LLM 聊天历史记录？
LangChain 团队发布了一篇关于使用 Dragonfly DB 来有效管理 LangChain 应用程序聊天历史记录的教程。该教程旨在解决用户在使用 LangChain 应用程序时普遍遇到的一个问题：如何高效地管理聊天历史记录。LangChain 团队在推文中强调了 Dragonfly DB 在管理聊天历史记录中的重要性，并提供了相关教程链接，帮助用户更好地理解和使用 Dragonfly DB。
2024-07-10 20:31:58
872
原创 李宏毅2024年最新深度学习教程终于更新了！绝对值得反复阅读的神书！
就在前两周，李宏毅深度学习教程手册终于更新了！这份手册是根据李宏毅老师上课课程编写和优化而来的，分为了19个章节、327页，包含了深度学习基础、自注意力机制、Transformer、神经网络等等，甚至连最新的ChatGPT、大模型都有讲解，内容的非常的全面，即使新手也能轻松入门！为了降低学习的难度，教程还提供了非常多的可视化图例、公式手推和对重点、难点进行讲解，让大家看完即学会！强烈推荐给大家。下面是教程的章节目录不论你是有一定基础的研究人员，还是刚入门深度学习的小白，这份教程绝对值得反复阅读！
2024-07-09 20:25:27
1062
1
原创 新架构RNN反超Transformer：每个隐藏状态都是一个模型，一作：从根本上改变语言模型
新架构，再次向Transformer发起挑战！。甚至，所以该方法称为共同一作UC伯克利的Karen Dalal表示：我相信这将。一个TTT层拥有比RNN表达能力更强的隐藏状态，可以直接取代Transformer中昂贵的自注意力层。在实验中，隐藏状态是线性模型的TTT-Linear表现超过了Transformer和Mamba，用更少的算力达到更低的困惑度（左），也能更好利用长上下文（右）。此外，隐藏状态是MLP模型的TTT-MLP在32k长上下文时表现还要更好。
2024-07-09 20:01:24
658
原创 利用大模型知识库，发挥智能客服双倍价值
现在大模型技术在不同领域内，都产生了巨大的影响，甚至是颠覆。在知识库的构建和维护中，大模型也有很多结合点。经过长时间的积累，我们在应用场景中总结出了大模型结合知识库的两类用法。第一类是大模型应用知识库。大模型是一种全新的能力，可以很好的运用知识，知识库可以让大模型发挥更大的作用。第二类是大模型帮助知识库构建。结构化的知识库，在使用时的一系列痛点，可以通过大模型来改善。传统的知识库形式有两种：纯文档知识库、结构化知识库。传统知识库在实际应用中，还是存在着一些问题。
2024-07-08 21:42:09
809
原创 LlamaIndex团队技术报告：“RAG的尽头是Agent”
LlamaIndex团队2024年Talk：报告人：Jerry Liu, LlamaIndex co-founder/CEO，报告主题：“”，主题原文：“Beyond RAG: Building Advanced Context-Augmented LLM Applications”。看完报告，一个通俗点的理解是“”，概要内容如下：RAG的局限性：RAG最初是为简单问题和小型文档集设计的，它通常包括数据解析、索引检索和简单的问答。
2024-07-08 21:29:25
663
原创 【100个AI核心概念】结构化提示词
我们更大模型对话时的任何输入都称为提示词prompt，哪怕是一句简单的“你好”。基于习惯，通常我们会输入一整段话，在认为较简单时这没有问题，但如果任务复杂，提示词很长，就需要用到结构化提示词技巧。通过使用分隔符（如“–”、“###”等），可以清晰地区分不同部分的内容，比如问题和背景信息、不同的问题点等。这种清晰的结构使得模型更容易理解prompt的不同组成部分，从而提高回答的准确性和相关性。分隔符帮助模型区分和识别信息的不同层次和类别，比如区分指令、问题、背景信息等。
2024-07-08 21:01:38
666
原创 大语言模型应用形态 AI Agent 发展趋势深度分析 2024
随着技术飞速发展，智能体（AI Agent）正成为一股革命性力量，正在重新定义人与数字系统互动的方式。AI Agent是一种高效、智能的虚拟助手，通过利用人工智能自主执行任务。在企业环境中，AI Agent通过自动化例行任务和分析复杂数据来提高效率，使员工能够集中精力进行战略和创意方向上的工作，这些 AI Agent的定位不是为了取代人类，更多的是有针对性的进行能力补充，促进企业拥有更具生产力和有效性的劳动力。
2024-07-08 20:47:56
554
原创 对于初学者，该如何选择 LlamaIndex 与 LangChain ？
LlamaIndex 最适合初学者寻找简单、用户友好的框架，并提供清晰的文档和实际示例。此外，LlamaIndex 非常擅长处理数据。如果你正在寻找一个更强大、更灵活、具有广泛定制选项的框架，你应该选择 Langchain，记住学习曲线陡峭。通过考虑这些详细方面，你可以就哪种框架最适合你的需求和专业水平做出更明智的决定。
2024-07-07 10:45:00
760
原创 大模型（LLM）最新研究论文介绍（合集）
目录1. CTRLA: 通过探针引导控制的自适应检索增强生成2. 压缩大型语言模型：使用低秩和低精度分解方法3. 通过LLM知识转移增强零样本面部表情识别4. 大型语言模型（LLMs）：部署、代币经济学与可持续性5. 审视大型语言模型提示策略以自动评估学习者创建的计算成果CTRLA: Adaptive Retrieval-Augmented Generation via Probe-Guided ControlHuanshuo Liu等，Noah’s Ark Lab, Huawei摘要：检索增强生成（RAG
2024-07-06 10:45:00
654
原创 大模型推理算力应该什么样？（续：推理算力芯片的各种技术路线）
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。芯片技术日新月异，每种类别的推理芯片都有其特定的优势和应用场景，选择合适的技术路径取决于目标应用的性能要求、能效目标、成本预算和开发时间等因素。
2024-07-04 20:32:16
320
原创 三分钟带你了解提示工程、微调、RAG怎么选？
本文主要探讨提示工程（Prompt Engineering） 、微调（Fine-tuning）和检索增强生成（RAG）分别是什么？都有什么优缺点？希望帮助你理解何时以及如何有效地运用这些技术。
2024-07-04 19:52:09
998
原创 信我！这里有普通人也能理解的 Transformer
自注意力是一种特殊的注意力机制。如果把 RNN 还是看作一次接力看剧的游戏，但这次这个剧集很长，可能是上万，十万，甚至是百万集，那么随着中间人的口口相传，慢慢的，最开始的一些剧集的内容在传递的过程慢慢被遗忘。老规矩，依然看作是一次接力看剧的游戏，但换了一批接力的人玩，这批人更聪明，他们在传递剧集信息时不再复述每一集的全部内容了，他们有了总结信息的能力，会选择传递剧情的关键有用的信息，忽略无用的信息，这样在传递过程中每个人要记忆的信息大大减少了，但关键信息都保留了下来，对最后剧情的复现影响不大。
2024-07-03 20:50:02
744
原创 选择适合你的AI技术架构：自训练模型 vs Prompt工程 vs LangChain专业垂类知识库
在当今人工智能快速发展的时代，选择适合自己项目的技术方案是至关重要的。本文将通过举例详细对比三种技术逻辑，帮助你选择最适合你项目的方案：自训练专业垂类模型、Prompt工程对知识精准度要求低、Prompt工程LangChain专业垂类知识库。举例：假设你在开发一个用于医学图像诊断的AI系统。获取标注数据：你需要收集大量的医学图像数据，并由专业的医学专家进行标注。这个过程通常需要1个月的时间。在数据上训练模型：使用标注的数据训练一个深度学习模型，这个过程需要2个月的时间。
2024-07-03 20:12:51
690
原创 2024中国“大模型+智能客服”最佳实践案例TOP10重磅发布
基于大模型的总结能力，可以为人工客服提供坐席辅助、工单预填、前情摘要等能力，提升坐席人员的工作效率，降低客户通话时长。
2024-07-03 19:50:27
951
原创 将大语言模型推向6G边缘
大型语言模型（LLMs）可以直接应用或微调各类具体任务。本节重点关注两个关键任务用例：医疗保健和机器人控制，以展示在移动边缘部署LLMs的必要性。医疗保健被广泛认为是LLMs的一个关键应用。与传统的AI模型相比，LLMs展现了卓越的泛化能力，能够更有效地与患者、护理人员和医疗专业人员互动。例如，Google的Med-PaLM 2是一个在医疗数据集上微调的LLM，能够为医疗查询提供高质量的答案。Med-PaLM 2在美国医师执照考试中超过了合格线，并取得了86.5%的准确率。
2024-07-02 22:50:10
754
原创 面向电信的大型生成式人工智能模型
本文从感知和通信两个角度，展示了大型 GenAI 模型在无线网络的设计、配置和操作中的潜在应用；概述了无线网络在使机器利用大型 GenAI 模型进行通信方面的作用。此外，本文为通过大型 GenAI 模型开发 AGI 驱动的无线网络奠定了基础，为实现自进化网络铺平了道路。
2024-07-02 22:16:48
913
原创 2024年6月热力榜：OpenAI关停服务，国产大模型上演“搬家”争夺战
6月25日，OpenAI向中国用户发布邮件称，自7月9日起，将不再接受来自那些未在其支持列表中的国家和地区的API请求。如果受影响的组织想要继续利用OpenAI的服务，他们需要在OpenAI服务覆盖的国家或地区进行访问。面对OpenAI对中国停止API服务的挑战，国内大模型厂商如百度、阿里巴巴、智谱AI等迅速采取行动，推出一系列迁移支持和优惠政策，包括零成本切换服务和免费Tokens包，以吸引受影响的用户。
2024-07-02 19:58:39
1028
原创 RAG入门教程：Langchian的Embedding介绍与使用
词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。在词嵌入的背景下，我们可以将单词表示为高维空间中的向量，其中每个维度对应一个特定的特征，例如“生物”、“猫科动物”、“人类”、“性别”等。每个单词在每个维度上都分配有一个数值，通常在 -1 到 1 之间，表示该词与该特征的关联程度。
2024-07-01 11:45:00
878
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人