Back to the Future，大模型时代 AI 产品的设计与应用

最新推荐文章于 2025-06-05 22:56:29 发布
最新推荐文章于 2025-06-05 22:56:29 发布
阅读量1.6k 收藏 32
点赞数 43
文章标签： 人工智能 语言模型 自然语言处理 大模型 AI 产品经理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y525698136/article/details/139025115
版权

在大模型时代下，AI产品要怎么做？AI应用需要什么样的产品经理？做好AI产品需要具备哪些能力以及准备？本文从八个维度的重点内容展开，希望能带给你一些启发。

大模型时代的产品要怎么做？AI应用需要什么样的产品经理。

今天可能没有多少创业机会了，但还有很多做生意的好机会。时代在呼唤更多的全栈技术全栈产品，属于个体开发者的好时代终于又回来了。

本文内容，重点关注以下问题：

  1. AI 产品的几个阶段
  2. 数据不是壁垒，结合数据提供差异化体验是壁垒
  3. 做 AI 产品要沉淀什么数据？
  4. 怎么保证现在做应用的投入不是无用功?
  5. Perplexity 的产品设计能力
  6. Adobe 取消收购 Figma 是人机交互方式发生的变化
  7. AI 的能力什么时候会发生跳跃性变革
  8. 产品经理需要 Back to the Future

一、AI 产品的几个阶段：AIGC → Copilot → Insight → Agent（自动化）

通过搭一个乞丐版产品理解用户意图，然后把过去几年客户的最佳实践和成功手册、交付案例、客服知识库……给到AI训练，看能否给到用户运营方案的建议。

总结下来大概是这 6 个能力：理解用户意图、提供用户运营方案建议、生成营销创意、自动化执行、自动化监督、自动化归因。

二、数据不是壁垒，把数据作为 context 喂给大模型，让大模型更懂你、提供差异化体验是壁垒

最开始构建 AI 产品的时候是从用户视角出发，提供解决具体问题的场景功能；

其次是能够看到用户在各种各样场景下沉淀的数据，比如看过的视频、文章、问过的问题，这些都是 LLM 不会有的用户的私有数据。

从过去的经验看，数据肯定不是壁垒，但有了数据后，把它作为 context 传给LLM，让这个 LLM 更懂你，这个差异化体验是壁垒。

比如，让 LLM 帮你起个标题是在编，但把商品信息一起给到 LLM，效果就不一样了。

所有不甘于只做 AI 工具的应用，都需要考虑数据沉淀下来的 AI 资产，让产品能够基于资产，更个性化地服务用户。

三 、做 AI 产品要沉淀什么数据？

需要沉淀的数据不是什么交易额，而是用户在解决某个场景问题在最近某段时间（如一个月内）有多少最佳实践的问答对，比如在小红书上怎么设置店铺的优惠券 —— 需要足够多的最佳实践整理成的问答对。

所以最终我可能不是一个卖软件系统的公司，可能是一个智能运营系统的运营商，通过无数最佳实践和最佳实践的总结，去不断录入、运营这个系统，让它变得越来越智能。

大厂的数据很多，但不是真的强。很多数据不是结构化的，并不能直接拿来给大模型用，那么，今天做 AI 产品的问题是，怎么通过你的产品设计，让用户生产模型能用的数据？怎样依托数据的循环、和独有数据的积累完成产品设计？

一是通用大模型，用户的使用数据对通用大模型来说目前没有太大的提升，还是通用大模型自己的能力；这部分主要用来理解用户意图，满足60分的基础就可以。

二是行业领域通识，在这层做微调（投喂），可以让这个 AI 产品在特定行业领域里理解用户意图、对话与交互的能力会更强；

三是加入对用户场景的业务理解（比如写prompt、界面优化）。

什么是B端产品经理？和C端产品经理有什么区别？

B端产品经理中的B是Business，商业的意思，B端产品经理首先就要理解这个职位的重要性，要设计出更适合这个项目需求的产品方案，B最终产品经理在日常工作中…

查看详情 >

在现阶段，做 AI 应用就主要在二和三不断优化。

四、怎么保证现在对做应用的投入不是无用功?

1. ToB 应用的视角

不要去搞独立的东西，比如电商客服的应用、写文案的应用，独立的东西大模型很可能最后会把它覆盖了。

B端场景的优势在于能交付一个工作流并给到用户结果，有闭环的、活的、每天都在发生的数据。

需要对用户现在要解决的工作流程的理解，比如用户要造一把椅子，他是怎么搞的？他要去运营消费者，他是怎么搞的？要对他内部作业流程有理解。

这么多年 toB 领域的皇冠是谁？做一些ERP的！这不就是企业的工作流吗？

所以飞书、钉钉和企业微信，大家最后的组织能力谁强？

强的肯定是对他服务的客户组织协作流和工作流的理解。

所以第一拼的是你对作业流程的理解，如果你能把这个理解通过AI交付一个工作过程，然后这个工作过程还是能直接给你结果的，你这个是个好产品。

如果你只是给人家生成某个东西，你最后就不是一个好产品。

2. ToC 应用的视角

ToC 产品更多是关注单点的价值创造和体验的优化。

现在的模型厂商其实特别像芯片厂商，AI 应用公司就像消费电子公司。

我们思考组织问题的时候，会想我应该花大钱去招一个算法工程师、还是招一个很会做增长的同学？

后来我们想到这个问题的背后，是你到底要学什么公司？我们不应该学高通、不应该学英伟达，我们应该学小米、学大疆、学苹果。

本质上 toC 的公司更像是消费电子公司，要关注供应链，上半年买不到GPT-4，因为就 OpenAI 不卖，或者限量卖的，但是微软卖，微软说你充20万我就卖给你，这个就像典型的供应链管理问题。

我们要关注定价，OpenAI的成本，LLM 降价了，开完发布会降到三分之一了，我们是跟着变吗？好像不对，你应该是价格不变，但是给更多东西。

新一代的小米手机，高通变牛逼了它还是应该卖这样的价位。

我们要关注品牌，让大家想到应用的时候就想到你。

要关注渠道，关注毛利率，有规模化了之后，可以维持好毛利率，才能有钱去投研发、投广告，让更多人用起来，形成正向循环。

是不是非得有 LLM 能力才能做出超级应用来？换个问法，有了LLM能力就能做出超级应用吗？也不是。超级应用本来就很难，消费电子也是全方位竞争，不如关注我们能关注的事。

苹果的 Day1 也没有造芯片，它先用的Intel，然后花了20年的时间才把那个芯片换成自己的MC芯片。所以消费电子是一个全方位的竞争，不要觉得 LLM 牛逼才是一切。

私有数据很重要，给LLM足够多的上下文特别重要，浏览器插件是个好形态，看用户过去说过什么东西、查过什么东西、存了什么东西……（当然即便这样可能还是不能赢）。

五、Perplexity 的产品设计能力

Perplexity 底层搜索用的是 Bing 的API，结果处理用的是 GPT 的API，是一个纯粹的套壳。他的用户是Google的万分之一，但是在这个品类里他会经常被提起，这证明了他作为产品设计维度上是有一定想象空间的。

一、它的搜索框是一个text area，它是多行的，而Google是单行的。

背后的暗示是，Google搜索可能需要用户输入一个短语、或者简短的一句话；而perplexity是可以输入很长一段话，它帮你拆解这件事，帮你做好检索，它更符合人类对于问题的想象。

二、它很AI Native，没什么负担。

Google搜索出来的结果，会带有大量的链接，即使有生成式的答案，链接永远在主要的位置。Perplexity的设计是先出很长一段的答案，链接的形态是一个个附注小标，答案来自这些地方，你可以自行去溯源。

从产品设计的角度，它没有传统搜索竞价排名的负担、或者卖广告的负担，他可以重新定义自己的产品设计，背后的商业逻辑是它的搜索可以直接面向用户收费。

六、Adobe 取消收购 Figma 是人机交互方式发生的变化

四五年前出现了一个新公司 Figma，专门只面对用户界面设计，他做了几件事：

  • 用户界面设计工具比Photoshop好用；
  • 开放了生态，专门有人去做icon的插件或者某种风格的插件，所以变得极其简单，还有人专门做切图后和前端代码的结合（有很多现成的东西你去拼一拼就能搞出来）；
  • 开放了多账户，程序员和设计师可以在这里协作（以前是设计了一张图 → 传图 → 拿图片切图，现在可以直接在Figma协作）。

所以 Adobe 慌了。整个 IT 行业越来越重视用户界面，越来越重视用户体验，Figma 占据了它的 30%，而且可能会越来越多，所以两年前，当 Figma 只有 1 亿美元收入的时候，Adobe 拿了 200 亿美元要买它。

这是一个在增长的市场，而且功能占 Adobe 很大比例，这个收购价格在商业上是合理的。

但两周前 Adobe 反悔了，说监管不同意，不买了，可以交10亿美金的罚款。

为什么呢？

体验设计最主要的几个环节，一是有想法，有人给你设计风格；二是有想法，设计完风格后需要不断加功能，这时候需要做重复性的界面设计；三是产品成熟后不需要什么体验设计，顶多在某个功能里加个小icon。

今天，全球互联网的投资人不怎么投钱了，不怎么搞增长了，大家都说我不在快速增长期，在相对成熟期，整个行业的需求没这么多了。

第二个原因是，AI 出现后大家发现直接聊天给指令就能生成结果了，可能未来界面交互就不太需要了。核心还是人机交互发生了变化。

七、AI 的能力什么时候会发生跳跃性变革

开源的模型能够实现私有化部署了，应用场景会更广泛。

如果大模型幻觉可控，PMF会进一步上升。

Context Window 的突破，如果能够支持更多的上下文，也能发送更长的 prompt，RAG也会更好做一些，可以不用类似 embedding 的方式。

八、产品经理需要 Back to the Future

产品经理最早是宝洁定义的一个职位，是非常经典的传统商业定义的职位，当时解决的问题是，我需要一个人同时去负责从品牌到渠道到定价到供应链的所有问题 —— 所以有了个职位叫产品经理。

在过去20年互联网浪潮里，互联网产品经理已经被高度分工化和职能化了，有了交互设计师、UI……各种精细化的岗位，一个人的活拆成了20个人干。

但在今天，做AI应用的产品经理，可能需要回到Day1去思考。

一、他需要很懂（写prompt谁都能干），他需要知道技术的边界在哪、理解现在的模型哪些能干哪些不能干，需要对技术有理解。

二、他需要对成本有理解，卡很贵、算力很贵、LLM很贵、推理很贵……传统互联网可以免费，但做AI应用，他可能在很早阶段就要去想成本问题、想供应链问题。

三、他还需要懂市场，从市场的角度，要定义比如「逆光也清晰」这个市场需求，要怎么实现？拉动底层驱动的工程师说我们要调出这样的效果，逆光也清晰的效果。

总的来说，这也解释了为什么独立开发这么厉害，他们是复合型人才，他们能搞明白所有的问题，然后把东西快速理出来。这是AI时代下对产品经理的要求 —— 其实又回到了宝洁当时的定义。

就像二十年前一个人写出 foxmail 的张小龙。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI Mass人工智能大模型即服务时代：AI Mass在行为预测中的应用案例
AI天才研究院
11-04 198
近几年，人工智能领域在海量数据、超高计算性能、复杂算法和数据的驱动下，取得了爆炸性的发展。其中，基于大数据、机器学习等技术的应用已经成为当今互联网领域的基本需求，得到越来越多的人们的关注。随着人工智能技术的不断发展，人类对各种各样的问题的解决能力也越来越强。例如，围棋智能对手、大脑皮层分析、图像识别、语音合成、通讯助理、自动驾驶汽车等都取得了重大突破。但是，面对新的复杂挑战，目前仍存在很多困难。例如，如何让机器具备真正理解自然语言的能力，如何使机器能够很好地适应变化？
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
热门推荐
AI天才研究院
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
Back to the Future，大模型时代 AI 产品的设计与应用（附教程）
Y525698136的博客
04-03 903
在大模型时代下，AI产品要怎么做？AI应用需要什么样的产品经理？做好AI产品需要具备哪些能力以及准备？本文从八个维度的重点内容展开，希望能带给你一些启发。
张鹏、潘乱对谈白鸦、肖弘：大模型时代的产品经理，需要 Back to the Future
python122_的博客
05-27 3011
我觉得这一次不应该类比移动互联网，因为移动互联网是场景变多了，从工作场景增加了很多娱乐场景，比如通信场景、电商场景、内容消费场景等等。
Ai智能体二：嵌入模型与矢量数据库的应用
m0_69178550的博客
02-14 925
嵌入（Embedding）是将高维数据（如文本、图像等）映射到低维空间的过程，通常是通过神经网络模型学习到的表示。在 NLP（自然语言处理）领域，嵌入模型被广泛用于将单词、句子或段落转化为固定长度的向量，这些向量能更好地表示文本的语义特征。例如，在SpringAI中，我们通过集成OpenAI的模型来实现文本的嵌入。嵌入模型通常通过模型训练将输入的文本数据转化为向量表示，这些向量可以用于进一步的文本分析、语义匹配或搜索等任务。
使用Hugging Face构建大型语言模型应用
python122_的博客
08-12 1343
摘要可以分为两种形式：抽取式摘要（extractive）：从文本中选择代表性的摘录作为摘要。生成式摘要（abstractive）：通过生成新的文本来形成摘要。在本文中，我们将使用生成式摘要模型。背景阅读：Hugging Face的摘要任务页面列出了支持摘要的模型架构。摘要章节提供了详细的操作指南。在本节中，我们将使用以下内容：数据集：xsum数据集，该数据集提供了一系列BBC新闻文章和相应的摘要。模型：t5-small模型，该模型具有6000万个参数（对于PyTorch而言是242MB）。
AI Code Generation:人工智能LLM大模型对编程的影响
AI天才研究院
07-02 6160
人工智能(LLM)对编程的影响是显而易见的。随着计算机科学的发展，机器学习和自然语言处理等技术已经使得AI能够帮助程序员更快速、更准确地编写代码。近年来，AI代码生成的技术已经成为了人工智能领域的热门研究方向之一。本文将探讨AI代码生成对编程的影响，以及它对计算机科学领域和社会的影响。
AI大模型在性能测试中的智能分析与优化
项目管理的博客
05-14 864
本文旨在探讨AI大模型如何变革传统的性能测试方法，使其更加智能化、自动化。我们将覆盖从基础概念到高级应用的完整知识体系，包括性能测试的核心指标、AI分析原理、优化策略以及实际案例。文章首先介绍性能测试和AI大模型的基本概念，然后深入探讨AI如何应用于性能分析，接着展示实际案例和优化策略，最后展望未来发展趋势。性能测试：评估系统在各种负载条件下的响应能力、稳定性和资源使用效率的过程AI大模型：具有数十亿参数的大型神经网络，能够处理复杂任务并表现出一定程度的通用智能智能分析。
人工智能的未来：探索大型概念模型的潜力
Scabbards_的博客
03-21 738
Meta引入了大型概念模型（Large Concept Models, lcm），代表了传统的基于令牌的框架的重大转变。lcm使用概念作为理解的基本单位，支持更复杂的语义推理和上下文感知决策。鉴于这一新兴技术的学术研究有限，我们的研究旨在通过收集、分析和综合现有的灰色文献来弥补知识差距，以提供对lcm的全面了解。具体来说，我们(i)识别和描述LCM与llm的区别特征，（ii）探索LCM在多个领域的潜在应用，（iii）提出未来的研究方向和实际策略，以推进LCM的发展和采用。
【大模型:知识图谱】--3.py2neo连接图数据库neo4j
我是个好人呀，????
06-03 1380
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 390
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
通过基于流视频预测的可泛化双手操作基础策略
yorkhunter的博客
06-04 2023
25年5月来自中国电信、西北工业大学和香港科大的论文“Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction”。 由于动作空间巨大且需要协调手臂运动，学习可泛化的双手操作策略对于具身智体而言极具挑战性。现有方法依赖于视觉-语言-动作 (VLA) 模型来获取双手操作策略。然而，从单臂数据集或预训练 VLA 模型迁移知识通常无法有效泛化，这主要是由于双手数据的匮乏以及单臂和双手操作之间的根本差异。本文
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 1380
大家好！我是羊仔，专注AI工具、智能体、编程。
智能终端与边缘计算
最新发布
wozaiwurenchu的博客
06-05 477
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
法律AI的“幻觉”治理：大模型如何重塑司法公正与效率
七刀的专栏
06-04 952
在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 672
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
Langchain4j 文档处理（7）
m0_58617940的博客
06-05 772
来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）
高效VLM：VisionZip
my的博客
06-04 606
《VisionZip：视觉语言模型中的高效视觉标记压缩方法》针对现有视觉语言模型(VLMs)存在的视觉标记冗余问题，提出了一种创新解决方案。研究发现，传统VLMs使用长序列视觉标记会导致计算成本高昂，且大量标记注意力权重趋近于零，存在显著冗余。VisionZip通过两阶段处理（保留主导标记+合并次要标记），在仅保留10%标记的情况下实现95%的原模型性能，并将LLaVA-NeXT模型的预填充时间减少8倍。该方法支持无训练应用、高效微调和从头训练三种模式。
用python与pyqt5写一个自己的ai智能小助手
zouxun660的博客
06-03 369
用python与pyqt5写一个自己的ai智能小助手
加入自注意力机制进行特征筛选
06-10
在LSTM模型中加入自注意力机制的代码示例如下： ```python import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler from keras.models import Model, Sequential from keras.layers import Dense, LSTM, Input, Dropout, Lambda, Concatenate, Layer, Activation # 读取数据 data = pd.read_csv('commodity_price.csv', index_col='date', parse_dates=True) # 数据归一化 scaler = MinMaxScaler(feature_range=(0, 1)) scaled_data = scaler.fit_transform(data) # 准备训练数据和测试数据 train_data = scaled_data[:int(len(scaled_data)*0.8)] test_data = scaled_data[int(len(scaled_data)*0.8):] # 定义函数，将数据转换为LSTM的输入格式 def create_dataset(dataset, look_back): X, Y = [], [] for i in range(len(dataset)-look_back-1): a = dataset[i:(i+look_back), 0] X.append(a) Y.append(dataset[i+look_back, 0]) return np.array(X), np.array(Y) # 定义自注意力层 class Attention(Layer): def __init__(self, step_dim, W_regularizer=None, b_regularizer=None, **kwargs): self.supports_masking = True self.init = initializers.get('glorot_uniform') self.W_regularizer = regularizers.get(W_regularizer) self.b_regularizer = regularizers.get(b_regularizer) self.step_dim = step_dim self.features_dim = 0 super(Attention, self).__init__(**kwargs) def build(self, input_shape): assert len(input_shape) == 3 self.W = self.add_weight(name='{}_W'.format(self.name), shape=(input_shape[-1],), initializer=self.init, regularizer=self.W_regularizer, trainable=True) self.features_dim = input_shape[-1] super(Attention, self).build(input_shape) def call(self, x, mask=None): eij = K.reshape(K.dot(K.reshape(x, (-1, self.features_dim)), K.reshape(self.W, (self.features_dim, 1))), (-1, self.step_dim)) ai = K.exp(eij - K.max(eij, axis=1, keepdims=True)) weights = ai / K.sum(ai, axis=1, keepdims=True) weighted_input = x * K.expand_dims(weights) return K.sum(weighted_input, axis=1) def compute_output_shape(self, input_shape): return input_shape[0], self.features_dim # 定义LSTM模型 look_back = 30 inputs = Input(shape=(look_back, 1)) lstm1 = LSTM(64, return_sequences=True)(inputs) attention = Attention(look_back)(lstm1) dropout = Dropout(0.2)(attention) output = Dense(1)(dropout) model = Model(inputs=inputs, outputs=output) model.compile(loss='mean_squared_error', optimizer='adam') # 训练模型 train_X, train_Y = create_dataset(train_data, look_back) train_X = np.reshape(train_X, (train_X.shape[0], train_X.shape[1], 1)) model.fit(train_X, train_Y, epochs=100, batch_size=32) # 预测未来价格 test_X, test_Y = create_dataset(test_data, look_back) test_X = np.reshape(test_X, (test_X.shape[0], test_X.shape[1], 1)) future_price = model.predict(test_X) # 反归一化 future_price = scaler.inverse_transform(future_price) # 可视化预测结果 plt.plot(data[int(len(data)*0.8):]) plt.plot(pd.date_range(start=data.index[-1], periods=len(future_price), freq='D'), future_price, label='Prediction') plt.title('Commodity Price Prediction using LSTM with Self-Attention') plt.legend() plt.show() ``` 这个代码示例在LSTM模型中加入了自注意力机制。首先，我们定义了一个 `Attention` 类，用于实现自注意力层。然后，我们定义了一个包含自注意力层的LSTM模型，并训练模型。最后，我们使用模型预测未来价格，并将预测结果反归一化并可视化。通过加入自注意力机制，模型可以自动地筛选出对预测结果最有帮助的特征，从而提高模型的预测精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值