Transformer很强,Transformer很好,但Transformer在处理时序数据时存在一定的局限性。
如计算复杂度高、对长序列数据处理不够高效等问题。
而在数据驱动的时代,时序预测成为许多领域中不可或缺的一部分。
于是乎,蚂蚁同清华联合推出一种纯MLP架构的模型TimeMixer,在时序预测上的性能和效能两方面全面超越了Transformer模型。
他们结合对时序趋势周期特性的分解以及多尺度混合的设计模式,不仅在长短程预测性能上大幅提升,而且基于纯MLP架构实现了接近于线性模型的极高效率。
来康康是如何做到的?
纯MLP架构超越Transformer
TimeMixer模型采用了一个多尺度混合架构,旨在解决时间序列预测中的复杂时间变化问题。
该模型主要采用全MLP(多层感知机)架构,由过去可分解混合Past Decomposable Mixing (PDM) 和未来多预测器混合Future Multipredictor Mixing (FMM) 两大块构成,能够有效利用多尺度序列信息。
其中PDM模块,负责提取过去的信息并将不同尺度上的季节性和趋势组分分别混合。
PDM以季节和趋势混合为动力,将详细的季节信息由细到粗逐步聚合,并利用较粗尺度的先验知识深入挖掘宏观趋势信息,最终实现过去信息提取中的多尺度混合。
FMM则是多个预测器的集合,其中不同的预测器基于不同尺度的过去信息,使 FMM 能够集成混合多尺度序列的互补预测功能。
实验效果
为了验证TimeMixer的性能,团队在包含长程预测,短程预测,多元时序预测以及具有时空图结构的18组基准数据集上进行了实验,包括电力负荷预测、气象数据预测和股票价格预测等。
实验结果表明,TimeMixer在多个指标上全面超越了当前最先进的Transformer模型,具体表现如下:
预测精度:在所有测试的数据集上,TimeMixer均表现出更高的预测精度。以电力负荷预测为例,TimeMixer相比于Transformer模型,平均绝对误差(MAE)降低了约15%,均方根误差(RMSE)降低了约12%。
计算效率:得益于MLP结构的高效计算特性,TimeMixer在训练时间和推理时间上均显著优于Transformer模型。实验数据显示,在相同硬件条件下,TimeMixer的训练时间减少了约30%,推理时间减少了约25%。
模型可解释性:通过引入Past Decomposable Mixing和Future Multipredictor Mixing技术,TimeMixer能够更好地解释不同时间尺度上的信息贡献,使得模型的决策过程更加透明和易于理解。
泛化能力:在多个不同类型的数据集上进行测试,TimeMixer均表现出良好的泛化能力,能够适应不同的数据分布和特征。这表明TimeMixer在实际应用中具有广泛的适用性。
长程预测:为了确保模型比较的公平性,使用标准化参数进行实验,调整输入长度、批量大小和训练周期。此外,鉴于各种研究的结果通常源于超参数优化,该研究还包括了综合参数搜索的结果。
短程预测:多变量数据
短程预测:单变量数据
消融实验:为了验证 TimeMixer 每个组件的有效性,我们在所有 18 个实验基准上对 Past-Decomposable-Mishing 和 Future-Multipredictor-Mishing 模块中的每种可能的设计进行了详细的消融研究。
模型效率:团队将训练阶段的运行内存和时间与最新最先进的模型进行比较,其中 TimeMixer 在 GPU 内存和运行时间方面,对于各种系列长度(范围从 192 到 3072)始终表现出良好的效率),此外还具有长期和短期预测任务一致的最先进性能。
值得注意的是,TimeMixer 作为深度模型,在效率方面表现出接近全线性模型的结果。这使得 TimeMixer 在各种需要高模型效率的场景中大有前途。
好了,TimeMixer为时序预测领域带来了新的思路,也展示了纯MLP结构在复杂任务中的潜力。
未来,随着更多优化技术和应用场景的引入,相信TimeMixer将进一步推动时序预测技术的发展,为各行业带来更大的价值。
本项目获得了蚂蚁集团智能引擎事业部旗下AI创新研发部门NextEvo支持。
蚂蚁集团NextEvo-优化智能团队负责蚂蚁运筹优化、时序预测以及预测优化相结合的智能决策等技术方向,团队工作涵盖算法技术、平台服务和解决方案的研发。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。