- 博客(202)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大模型时代程序员如何转型入局AI大模型？
随着大模型技术的快速发展，越来越多的程序员开始考虑转型入局AI大模型领域。那么，对于程序员来说，如何顺利地完成这一转型呢？本文将从行业前景、薪资待遇、岗位需求，程序员转行大模型的优势，以及目前互联网行业的发展风向三个方面进行详细阐述。
2024-09-30 21:38:41
518
原创 一种模块化大模型Agent框架全栈技术综述
现有基于LLM的智能体虽然在功能上取得了进展，但，导致在研究和开发中存在，在软件架构上缺乏统一。“A survey on LLM based autonomous agents”提出的框架，它并没有明确指出大型语言模型（LLM）、工具、数据源和记忆是否是Agent的一部分。这种对每个模块功能的模糊区分促进了，并导致通过明确区分智能体的不同组件，包括LLM、工具和新引入的核心智能体（），来解决这些问题。核心智能体是智能体的中央协调器，包含五个模块，其中安全模块在以往的研究中常被忽视。
2024-09-30 20:30:52
349
原创 为什么要学习AI大模型呢？它的前景很好吗？适合什么样的人群学习？
面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。AI大模型是当前科技创新的前沿阵地，掌握这一领域的知识和技术，意味着站在了技术发展的最前线。总而言之，学习AI大模型不仅能带来职业上的好处，还能为个人的兴趣爱好提供支持，更重要的是，它能够推动社会进步，创造更大的价值。书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，
2024-09-27 16:29:55
731
原创 【Qwen2 微调之旅】Lora 对 Qwen2-7B-Instruct 的微调实战手册
在人工智能领域，自然语言处理（NLP）一直是研究的热点之一。随着深度学习技术的不断发展，大型预训练语言模型（如Qwen2-7B-Instruct）在理解与生成自然语言方面取得了显著的进展。然而，这些模型往往需要大量的计算资源和数据来进行微调，以适应特定的应用场景。Lora微调技术作为一种高效的模型优化手段，为解决这一问题提供了新的思路。本文将深入探讨Lora微调技术在Qwen2-7B-Instruct模型上的应用，旨在为读者提供一种高效、低成本的模型定制化方法。
2024-09-27 13:56:25
754
原创 【AI大模型时代】逆天高薪岗位平均月薪30K，前景好，福利待遇高，赶紧冲！！！
产品经理（Product Manager, PM）是指负责产品从概念形成、市场调研、产品设计、开发、测试、上市、维护、改进直至退出市场的整个生命周期管理的专业人士。产品经理在整个产品的生命周期中扮演着核心角色，他们需要协调各个部门的工作，确保产品能够满足市场需求，并且在市场上取得成功。
2024-09-25 12:00:16
558
原创 Agent+RAG+大纲驱动，AI创作新风暴
STORM 通过以下方式对预写作阶段进行建模：(1) 在研究给定主题时发现不同的观点，(2) 模拟对话，持不同观点的作者向基于可信互联网来源的主题专家提出问题，(3) 整理收集到的信息创建一个轮廓。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。最后，在预写阶段创建的大纲和收集的参考资料的基础上，逐段撰写全文。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
2024-09-25 11:23:49
706
原创 行业观察 | 大模型竞争加剧，阿里云加码AI大基建，普通人如何入局大模型？
这带来的直接结果是，微软、亚马逊、谷歌、阿里这几家公司的资本支出增速在大幅增长。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？大模型后续投入需要更大的算力支出，更低的模型价格，更高的技术门槛。
2024-09-23 14:22:31
892
原创 80w起！零成本快速入门大模型指南
今年招聘市场确实是好点了，我发现群友都在讨论，得赶快学点 AI 大模型。他们有的是想正式转到一些新兴的 AI 行业，需要系统的学习训练。更多的是想跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。这也可以理解，ChatGPT 推出仅一年半的时间，就将生成式 AI 推向主流。从谷歌到亚马逊，从百度到阿里，几乎所有科技巨头都在布局 AI，也直接影响到了招聘市场，大模型相关的岗位数量多了不少，年薪甚至达到 80W-90W。
2024-09-20 21:42:40
393
原创 什么是大模型幻觉？它是如何产生的？怎么优化？
相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。以下为几个典型的大模型幻觉案例：1、阅读理解任务中的幻觉：大模型在回答问题时，可能会产生与原文无关的答案，甚至编造事实。
2024-09-20 21:38:55
911
原创 下一个万亿级市场，AI在医疗大健康领域的应用
科技飞速发展，AI 如同一位睿智的先锋，不断开拓着新的领域，为人类的生活带来翻天覆地的变化。尤其是在医疗大健康方面，人工智能正以不可阻挡之势与医疗行业深度融合，成为了推动行业进步的强大引擎。“打开AI用药助手，拍下药盒即刻呈现清晰详尽的药品说明书，以及重要注意事项；通过简单扫描二维码或向AI医生助理提出要求，患者的基本信息与症状概览瞬间呈现在医生眼前，让医生能够专注于与患者深度交流，对话也被AI助理轻松记录，同时医生依托先进的临床决策支持系统，迅速而精准地制定诊断方案……”
2024-09-20 21:35:59
1068
原创 2024年中国AI大模型场景探索及产业应用调研报告——大模型“引爆”行业新一轮变革
本报告由深圳前瞻产业研究院、首钢基金CANPLUS联合华为云共同出品。报告显示，2023年我国AI大模型行业规模已达到147亿元。AI大模型的行业应用及技术进步能有效提升各行业生产要素的产出效率，并提高了数据要素在生产要素组合中的地位。
2024-09-19 16:23:16
399
原创 多模态大模型入门指南（非常详细）从入门到精通，看这一篇就够了
如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。
2024-09-19 16:04:58
1141
原创 AI大模型从入门到精通必看的五本书籍
图灵君今天为大家整理了一份大模型学习路线图，简单明了无套路，从编程基础入门到大模型应用开发，如果你正在入门，不需要到处 Mark 未经筛选的、五花八门的学习内容，只要从头到尾认真学习这几本书就够了！Python 基础内容部分助你快速了解 Python 编程的基础知识，实践部分有三个上手操作的项目，对于很难接触到实际项目的初学者，这部分超级实用，模拟上手 Python 项目，快速掌握 Python 相关内容。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
2024-09-19 15:54:53
895
原创 【想转大模型的都看看】：转战大模型开发，能否重振你的职业生涯？
对于毕业五年以上的人，如果想要进入这些业务行业，就要比深耕这些行业多年的候选人，更没有优势，毕竟HR在筛选候选人的时候，还是倾向于选择业务匹配的候选人，特别是一些中高端的职位。如果你现在的方向没有技术壁垒，也没有业务壁垒，那么，有业务壁垒的大模型方向，算是一个不错的选择。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。有小伙伴觉得，既然是新领域、新方向，那么，人才需求肯定比较大，相应的人才缺乏，竞争也会更少，那转行去做大模型是不是一个更好的选择呢？
2024-09-18 14:45:28
547
原创 AI大模型产品经理从入门到精通，非常详细，看这一篇就够了！！！
在这个人工智能（AI）技术飞速发展的时代，已成为推动产业变革的中坚力量。他们不仅要具备传统产品经理的敏锐洞察力，还需深入掌握AI技术的精髓，以确保AI技术在产品中的有效融合与创新应用。从的过程中，一招不慎，很可能满盘皆输。作为AI产品经理，你需要对“监督学习”、“深度学习”、“卷积神经网络”等术语如数家珍，以便与技术人员高效沟通。深入了解AI系统的数据采集、处理、模型训练和部署等环节，为产品设计和优化提供有力支持。精通不同数据类型和机器学习模型，以应对多样化的应用场景。
2024-09-18 10:57:22
978
原创 什么是多模态？多模态大模型综述，看这一篇就够了
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
2024-09-14 21:52:33
1519
原创 2024年中国AI 大模型应用落地最新路线
在当今AI浪潮汹涌澎湃的时代，AI 大模型以其强大的语言理解、生成能力以及广泛的应用潜力，成为了科技领域的璀璨明星。从自然语言处理到计算机视觉，从智能客服到自动驾驶，AI 大模型的身影无处不在，为各行各业带来了前所未有的机遇与挑战。然而，要将 AI 大模型从理论研究成功应用到实际场景中，并非一蹴而就之事，需要诊断、建设、应用和管理等一系列关键步骤。本文将梳理 AI 大模型应用落地的路线作为参考，以促进AI大模型应用落地千行百业。
2024-09-14 20:34:21
954
原创 如何利用微调LLMs预测股票收益率
Content本文探讨了微调大型语言模型（LLMs）以利用财务新闻流预测股票回报的方法，比较了编码器和解码器LLMs在不同文本表示方法下的性能，并发现聚合表示通常能提升投资组合表现，其中Mistral模型在多个投资宇宙中表现稳健，而基于LLMs的回报预测比传统情感分析更能增强投资组合构建的效果。本章阐述了量化投资领域中利用财务文本数据进行投资组合构建的重要性，并强调了自然语言处理（NLP）技术，尤其是大型语言模型（LLMs）在文本分析中的先进能力。
2024-09-14 19:59:19
1126
原创 对想学习人工智能或者大模型技术从业者的建议
01人工智能技术学习建议这个关于学习人工智能技术的建议，也可以说是一个学习技术的方法论。首先大家要明白一点——(任何)技术都是一个更偏向于实践的东西，具体来说就是学习技术实践要大于理论，要以实践为主理论为辅，而不是反其道而行之，但是在实际的经历和观察中，我发现很多人却是以理论为主，实践为辅。_就拿这个公众号来说，越理论的东西看的人越多，真的涉及到实操的部分看的人反而变少了。比如说，很多人对什么是人工智能，什么是神经网络，什么是大模型，什么是多模态大模型等等很感兴趣；
2024-09-11 20:31:33
727
原创 AI赋能：数智政务模型的实际落地场景
是指通过人工智能技术，对数字政府的数据进行分析和发掘，通常在政务大数据的基础上集合大模型技术构造数智一体化平台，提供智能决策支持和解决方案的一种技术应用。数字政府的建设需要新的技术支持，大模型在政务领域的应用成为关键。全国各地政府都在加强大模型产业顶层设计和布局，北京市率先出台正对性政策，广东、上海、安徽等地方也积极探索大模型产业，助力大模型在政务领域深度应用。最终达到促地方经济发展、增强区域竞争力、加快技术应用、引导产业升级、优化人才结构、提升公共服务。。
2024-09-03 21:56:41
1019
原创 大模型幻觉问题产生原因是什么？如何解决？大模型学习资源如何获取
相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。以下为几个典型的大模型幻觉案例：1、阅读理解任务中的幻觉：大模型在回答问题时，可能会产生与原文无关的答案，甚至编造事实。
2024-09-03 21:37:27
1126
原创 行业落地分享：大模型 RAG 汽车应用实践
在当今快速发展的人工智能领域，对话式人工智能（AI）正经历着一场由大模型技术引领的转型。这种转型标志着对话式AI从传统的预设规则模式，逐渐转变为更加智能和灵活的生成模式。大模型对话机器人的优势基于大模型的对话机器人通过先进的自然语言处理能力，实现了客户意图的精准预测和实时画像分析。这种技术的应用使得AI能够代替传统的人工预设规则，提供更智能、更高效的客户服务体验。与传统的对话机器人相比，大模型对话机器人能够实时生成策略，整合垂类知识和外部搜索结果，以及利用通用知识库，从而提供更加丰富和准确的信息。
2024-08-23 19:51:36
917
原创 提升RAG系统的回答质量：构建高效的Prompt
通过理解用户意图、结合检索到的知识、结构化设计Prompt、动态调整Prompt以及考虑生成模型的能力，RAG系统能够在各种复杂场景下，生成具有高度准确性和相关性的回答。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。例如，在科研领域，当用户询问一种化合物的特性时，系统需要将关于该化合物的物理特性、化学反应性和应用领域的知识整合到Prompt中。在构建Prompt时，还需充分考虑生成模型的能力，包括模型的知识覆盖范围、生成长度的控制、语言风格的适配等。
2024-08-23 19:47:09
851
原创 一文彻底搞懂大模型 - Agent（智能体）
大模型Agent是一种构建于大型语言模型（LLM）之上的智能体，它具备环境感知能力、自主理解、决策制定及执行行动的能力。
2024-08-23 19:43:07
652
原创 应届生年薪炒到65w+，真心建议冲冲这个新兴领域！
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到!风口之下，与其，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
2024-08-12 11:50:16
400
原创 AI赋能下的客服中心：策略、实践与价值创造
在数字化转型的浪潮中，客户服务中心作为企业与客户互动的关键节点，正经历着由人工智能（AI）技术引领的革新。AI技术的应用不仅极大提升了运营管理的智能化水平，还显著增强了客户服务的个性化体验，同时为员工提供了更加高效的工作辅助工具。本文全面探讨了AI在客服中心的多维应用策略，
2024-08-12 11:45:25
730
原创 RAG 应用落地常见的三个挑战及解决思路
简单用于原型展示的Rag应用并不复杂，但真要落地生产就会有很多现实的挑战，《AI工程化》在前面的文章里也介绍过很多领域内的一些解决思路和实践方案。学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。例如，如果用户直接询问 “推荐酒店”，我们就可以通过澄清和询问收集用户的首选地点、价格范围和其他偏好等信息，从而提供更准确的回复。c.Query相似性检索。
2024-08-08 22:42:11
949
原创 大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
2024-08-08 22:39:09
1137
原创 不到两百行代码教你实现一个完整的RAG系统（案例+源码）
# 使用huggingfacepipeline本地搭建大语言模型# 使用OpenAI的大语言模型# 获取环境变量 OPENAI_API_KEY# 使用智谱AI的大模型。
2024-08-07 20:40:57
795
原创 大模型项目落地要注意这五个细节，听懂少走十年弯路
既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。在这里核心就是要设计一套产品，确定产品有市场需求，确认之后，我们就可以考虑切换为开源模型，然后通过微调的方法能够接近这种最好的模型的效果。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？
2024-08-07 20:19:51
800
原创 2024年多模态大语言模型最新进展，大模型最新前言消息
本文对多模态大型语言模型（MM-LLMs）进行了全面系统的综述，涵盖了模型架构、训练流程以及122个多模态大模型研究的概览。文章深入探讨了输出投影器在机器翻译中的关键作用，并详细分析了模式生成器、训练管道、最先进的MM-LLM（SOTAMM-LLM）和未来发展趋势。MM-LLMs的发展方向包括扩展模型模式、丰富LLM多样性、提高MM生成能力和开发更具挑战性的基准测试。文章还提出了解决MM-LLMs在微调和幻觉缓解等方面所面临挑战的建议。MM-LLMs的时间表如图1所示。图1 MM-LLMs的时间轴。
2024-08-02 22:22:00
989
原创 这次终于能把Transformer弄清楚了！从入门到精通（非常详细）看这一篇就够了！
本文将深入探讨Transformer架构，这是当今几乎所有尖端大型语言模型架构的核心组成部分。首先，我们将简要回顾一些与自然语言处理（NLP）相关的基本概念，随后逐步解析Transformer的工作原理。本文适合对自然语言处理（NLP）感兴趣的任何人阅读。尽管本文并不复杂，但由于涉及众多概念，可能对新手来说有一定的难度。为了更好地理解本文内容，大家需要对标准神经网络有基本的工作理解，还需要对嵌入、编码器和解码器有初步认识。在深入探讨Transformer之前，我们简要介绍一些必要的概念和技术背景。
2024-08-02 22:19:48
773
原创 Llama 3.1震撼发布，真正的全民GPT-4时代来了
那以下这些PDF籍就是非常不错的学习资源。Llama 3.1 405B的发布标志着Meta在其开源模型故事中的新篇章，Meta还计划推出一个综合的Llama系统，包括新的安全工具和API标准，以简化第三方项目的集成。此外，Llama 3.1 405B和同系列的70B与8B模型均支持128K tokens的上下文窗口，以及多语言和先进的工具使用能力，以促进更高级的应用开发。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
2024-07-24 21:01:03
867
原创 正在爆发的智能体，能否成为大模型落地医疗的新动力？
人工智能产业的蓬勃发展，带来了人机交互模式的革新。自2022年11月OpenAI发布ChatGPT以来，大语言模型已经深刻影响了我们的工作和生活。作为未来大模型最主流的使用方式，智能体这一概念备受业界关注。在医疗领域，智能体是否能够在结合大模型能力的基础上，满足医疗用户复杂多变的需求，进而在医疗诊断、科研创新、医学教育等多个关键领域中实现深度应用与融合？同时，专业智能体能否成为推动大模型在医疗领域成功落地的关键？
2024-07-23 09:48:26
1084
原创 LLMs大模型在金融投资领域的15个具体应用场景，知道10个以上的凤毛麟角
NER在金融领域有广泛的应用，它可以用于信息提取（从金融新闻和报告中提取有关公司、股票和市场事件的关键细节）、合规监控（自动识别和监督金融文件中的敏感实体，如洗钱和欺诈）以及投资决策支持（通过分析市场新闻和报告中的实体和事件，为投资决策提供数据支持）。还有其他多样化的研究方法，如为情感分析设计专门的NLP子模块 ，N-gram和朴素贝叶斯算法的应用 ，基于词典的情感分析 ，以及情绪分类配合每日情感评分。例如，在衍生品定价和风险管理方面，LLMs可以结合微积分和统计学原理，提供更精准的计算和分析。
2024-07-23 09:46:07
780
原创 大模型在数据领域的十大价值应用？最后一个99%的人都不知道
销售终端] --> (实时数据流) --> [交易处理系统] [交易处理系统] --> (批量传输, 每小时) --> [数据仓库] [数据仓库] --> (数据转换) --> [销售报表系统] [数据仓库] --> (数据聚合) --> [预测分析系统] [销售报表系统] --> (数据可视化) --> [管理仪表板] [预测分析系统] --> (预测结果) --> [库存管理系统] [预测分析系统] --> (客户洞察) --> [CRM系统]公司决定使用基于大模型的系统来进行全面的数据合规性检查。
2024-07-22 10:22:26
1202
原创 学习人工智能所需的数学知识及路线规划，非常详细，从入门到精通，看这一篇就够了
学习人工智能是一个系统工程，需要扎实的数学基础和编程能力作为支撑。通过系统的学习和实践，逐步掌握人工智能的核心技术和应用方法，将为你未来的职业发展奠定坚实的基础。希望本文能为广大AI爱好者提供一些有益的参考和指导。
2024-07-22 10:17:30
683
原创 【科普】大模型应用中一个 Token 占多少汉字？答案超乎想象！
对于普通用户很难理解Token这个概念， 这个概念是隐藏在模型内部的， 对于普通使用者来说，这种计价方式无疑是致命的， 所以对于大部分普通使用者，还是采用包月方式偏多， Token计价方式针对的是开发者，希望通过API方式进行调用，封装自己的应用。：许多现代大模型使用子词分词技术，如BPE（Byte-Pair Encoding）或WordPiece，这些方法可以将未知的或不常见的单词拆分成更小的子词，从而更有效地处理语言中的多样性。分词器根据预定义的词汇表和算法，将文本拆解成模型可以理解和处理的最小单元。
2024-07-20 19:12:45
2668
原创 又一历史时刻：Transformer和Mamba都被超越了！大模型最强架构TTT问世！
这篇文章提出了一种新型的序列建模方法，名为Test-Time Training（TTT）层，旨在解决现有循环 神经网络（RNN）在处理长文本时表达能力受限的问题。作者指出，尽管自注意力机制在处理长文本方 面表现出色，但其计算复杂度呈二次方增长。相比之下，传统的RNN层虽然具有线性复杂度，但其隐藏 状态的表达能力在面对长文本时会受到限制。文章的核心思想是将隐藏状态设计成一个机器学习模型本身，并将更新规则作为自监督学习步骤。这意味着即使是在测试序列上，隐藏状态也会通过训练进行更新，从而使得TTT层在测试时也能进
2024-07-20 18:45:50
673
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人