个人简介
作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与 Agent 架构设计。 热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。
我叫观熵。不是在控熵，就是在观测熵的流动
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！
专栏导航
观熵系列专栏导航：
AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势
AI开源框架实战：面向 AI 工程师的大模型框架实战指南，覆盖训练、推理、部署与评估的全链路最佳实践
计算机视觉：聚焦计算机视觉前沿技术，涵盖图像识别、目标检测、自动驾驶、医疗影像等领域的最新进展和应用案例
国产大模型部署实战：持续更新的国产开源大模型部署实战教程，覆盖从 模型选型 → 环境配置 → 本地推理 → API封装 → 高性能部署 → 多模型管理 的完整全流程
TensorFlow 全栈实战：从建模到部署：覆盖模型构建、训练优化、跨平台部署与工程交付，帮助开发者掌握从原型到上线的完整 AI 开发流程
PyTorch 全栈实战专栏： PyTorch 框架的全栈实战应用，涵盖从模型训练、优化、部署到维护的完整流程
深入理解 TensorRT：深入解析 TensorRT 的核心机制与部署实践，助力构建高性能 AI 推理系统
Megatron-LM 实战笔记：聚焦于 Megatron-LM 框架的实战应用，涵盖从预训练、微调到部署的全流程
AI Agent：系统学习并亲手构建一个完整的 AI Agent 系统，从基础理论、算法实战、框架应用，到私有部署、多端集成
DeepSeek 实战与解析：聚焦 DeepSeek 系列模型原理解析与实战应用，涵盖部署、推理、微调与多场景集成，助你高效上手国产大模型
端侧大模型：聚焦大模型在移动设备上的部署与优化，探索端侧智能的实现路径
行业大模型 · 数据全流程指南：大模型预训练数据的设计、采集、清洗与合规治理，聚焦行业场景，从需求定义到数据闭环，帮助您构建专属的智能数据基座
机器人研发全栈进阶指南：从ROS到AI智能控制：机器人系统架构、感知建图、路径规划、控制系统、AI智能决策、系统集成等核心能力模块
人工智能下的网络安全：通过实战案例和系统化方法，帮助开发者和安全工程师识别风险、构建防御机制，确保 AI 系统的稳定与安全
智能 DevOps 工厂：AI 驱动的持续交付实践：构建以 AI 为核心的智能 DevOps 平台，涵盖从 CI/CD 流水线、AIOps、MLOps 到 DevSecOps 的全流程实践。
C++学习笔记？：聚焦于现代 C++ 编程的核心概念与实践，涵盖 STL 源码剖析、内存管理、模板元编程等关键技术
AI × Quant 系统化落地实战：从数据、策略到实盘，打造全栈智能量化交易系统
大模型运营专家的Prompt修炼之路：本专栏聚焦开发 / 测试人员的实际转型路径，基于 OpenAI、DeepSeek、抖音等真实资料，拆解 从入门到专业落地的关键主题，涵盖 Prompt 编写范式、结构输出控制、模型行为评估、系统接入与 DevOps 管理。每一篇都不讲概念空话，只做实战经验沉淀，让你一步步成为真正的模型运营专家。
构建金融数据湖：行情 × 财报 × 舆情 × 多模态，一网打尽
——打造你自己的 AI × Quant 数据底座，从源头赢下策略精度
一、为什么你必须构建一个“金融数据湖”？
你可能已经习惯了“拉个TuShare”、“抓几个网页”、“清洗成Excel”——这在策略 demo 阶段勉强凑合。
但只要你想：
- 跑多个策略 → 需要统一字段格式
- 接入大模型 → 需要结构化 + 非结构化组合输入
- 跑实盘 → 需要稳定更新与自动维护
- 可视化 + 智能解释 → 需要有时序 + 多维 + 可索引的数据供调用
这时候，再继续靠爬虫 + 本地CSV 拼起来的数据系统，基本就是炸药包 + 黑盒子。
✅ 数据湖解决的不是“爬得多”，而是**“统得住 +喂得动”**
金融数据湖的定义（咱们别讲大厂那一套）：
一个支持多源、多模态金融数据结构化存储、可查询、可扩展，并支持 AI / 策略 / 可视化调用的统一数据底座。
你可能会问：“我就跑几个策略，真用得着搞得这么复杂吗？”
我反问三个问题：
- 你有没有遇到过字段对不齐的问题？
- 你是不是每次训练策略都得重新拉数据？
- 你模型里的因子版本是不是都靠“文档记录”？
如果你回答了两个“是”，那构建一套数据湖就不是“是不是要”，而是“非干不可”。
✅ 数据湖 vs 数据仓库 vs 临时数据爬虫脚本，对比一眼明白：
| 维度 | 数据爬虫脚本 | 数据仓库 | 数据湖（推荐方案） |
|---|---|---|---|
| 多模态支持 | ❌ 不支持 | ✅ 结构化为主 | ✅ 支持结构 + 非结构 |
| AI友好度 | ❌ 手动拼接 | ⚠️ 需要转接口 | ✅ 直接生成输入/Prompt |
| 扩展能力 | ❌ 无版本控制 | ⚠️ 固定Schema | ✅ 自动化 + 增量可扩展 |
| 训练/回测兼容性 | ❌ 字段不一致 | ⚠️ 需清洗 | ✅ 对齐交易日 + 时间窗抽样 |
| 成本与搭建难度 | ✅ 快速上手 | ❌ 重数据库依赖 | ✅ 适中 + 可迁移（DuckDB / DeltaLake） |
结论一条：
“你搭建的数据结构，决定你未来能不能跑出高质量模型、策略、Agent系统。”
二、金融数据的五大核心模态与实际用途
你不能指望只靠 K 线跑出全场景策略。
在 AI 量化里，策略 = 多模态信息融合 + 动态建模 + 行为控制，而输入层如果只给它“收盘价”，那是人为削掉模型大半威力。
✅ 所以你至少需要这五大模态：
① 📈 行情数据：量化的基础砖头
用在哪？
- 技术指标因子（MACD、布林带、动量等）
- 构建时间序列输入（LSTM / Transformer）
- Tick级别可用于构建强化学习环境
关键维度：
- 支持分钟级 / Tick级别
- 对接交易日历
- 支持复权 & 剔除停牌日
- 对齐因子抽样时间窗
② 💰 财报/财务数据：基本面因子核心来源
用在哪？
- 构建经典 alpha 因子（ROE、营收增长率等）
- 用作长期策略的稳定性支持
- 生成行业/企业评分模块输入
建议处理方式：
- 原始PDF + JSON抓取，转为标准结构化指标
- 对齐“发布日期”与“归属期”，避免未来数据泄露
③ 📰 公告 & 研报文本：AI事件识别的利器
用在哪？
- LLM + 情感模型抽取“利好/利空”标签
- 转换为事件因子输入模型
- 也可用于提示语构建（RAG输入）
处理难点：
- 公告文本非结构化 + PDF格式多变
- 发布时间 vs 内容日期不一致
- LLM需构建提示词+结构输出模板
④ 😶🌫️ 舆情 & 新闻数据：情绪因子核心土壤
用在哪？
- 构建短期强趋势跟踪策略（如社交热度驱动涨停）
- LLM提取“行业情绪标签”
- 多天情绪变化趋势与个股走势联动建模
处理建议：
- 微博/雪球爬虫 + LLM分类器 + Keyword聚合
- 构建“日频情绪得分表”与“热词排行表”
⑤ 🧾 图像 / 多模态数据：打开 AI 金融建模的新版图
用在哪？
- 模型端构建“视觉策略理解能力”（K线图形输入 + 注释）
- 图文信息联合训练（K线图
最低0.47元/天 解锁文章
扫一扫
1337
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
