- 博客(51)
- 收藏
- 关注
RSS订阅
原创 【时序预测】-Transformer系列
核心：Transformers的时序性较差，且embedding忽略变量间物理关联，而D-Linear(Decomposition-Linear)，用于处理具有趋势和季节性模式的数据能够获得同样好的结果。核心：与Autoformer类似，在拆分趋势线和季节项的基础上，FEDformer使用傅里叶变换以及小波变换去加速attention模块。重点：Transformer + Patch（源于计算机视觉Vision Transformer）重点：Transformer + 趋势季节分解（基于频域）
2025-06-09 15:57:00
934
原创 【异常】极端事件的概率衰减方式（指数&幂律衰减）
这篇文章的内容主要来源于这篇文章，给文章很详细的介绍了如何从windows下安装windows+ubuntu16.04双系统。我刚开始装双系统都是参照这个方法，该作者前后更新了两个版本，在这里对其稍微进行整理一下。一、准备：（这里推荐用u盘装系统，不推荐用硬盘方式装）（一）、准备工具： ➢U盘一个（请提前备份U盘里面的资料，因为后面操作要格式化U盘）
2025-06-09 15:55:16
6472
1
原创 【异常检测】极值理论（EVT）比正态分布好在哪？
极值理论（EVT）与正态分布在计算概率时的核心区别在于，EVT专注于建模极端值（尾部事件）的分布特性，而正态分布更适合描述“典型”数据的集中趋势。
2025-05-23 14:07:18
801
原创 【强化学习】PPO如何根据奖励模型调整模型参数
好的，我现在需要帮助用户理解PPO强化学习中奖励模型如何评价语言模型的输出，并将评价结果返回给语言模型进行更新。用户的问题集中在“返回什么”和“如何利用分数更新模型”这两个方面。首先，我得回顾一下PPO的基本概念。PPO（Proximal Policy Optimization）是一种强化学习算法，用于训练策略模型。在监督学习中，数据有明确的标签，而强化学习中没有，而是通过奖励信号来指导模型调整策略。用户提到语言模型接受prompt作为输入，生成输出，然后奖励模型评估这个输出，将评价返回给语言模型。
2025-05-21 17:11:48
882
原创 scikit-learn 线性回归算法库小结
本文内容主要来自这篇文章。scikit-learn对于线性回归提供了比较多的类库，这些类库都可以用来做线性回归分析，本文就对这些类库的使用做一个总结，重点讲述这些线性回归算法库的不同和各自的使用场景。 线性回归的目的是要得到输出向量YY和输入特征XX之间的线性关系，求出线性回归系数θθ,也就是Y=XθY=Xθ。其中YY的维度为mx1，XX的维度为mxn，而θθ的维度为nx1
2025-05-21 15:28:59
1381
1
原创 【对比】快速理解BLEU和ROUGE区别
ROUGE-2和BLEU-2指标差异分析：ROUGE-2基于召回率，衡量生成文本覆盖参考n-gram的比例，冗余内容会提高得分；BLEU-2基于精确率，评估生成内容与参考的匹配精度，冗余会降低得分。
2025-05-21 15:27:25
418
原创 大语言模型训练数据格式：Alpaca 和 ShareGPT
在大规模语言模型（LLM）的开发中，训练数据的质量和格式起着至关重要的作用。为了更好地理解和构建高质量的数据集，社区发展出了多种标准化的数据格式。其中，Alpaca 和 ShareGPT 是两种广泛使用的训练数据格式，它们分别适用于不同的应用场景，并在指令微调、对话建模等领域发挥了重要作用。
2025-05-19 17:18:42
5488
1
原创 大模型部署到本地就是私有化部署吗？
大模型私有化的定义需要从部署方式和数据/模型控制权两个维度来理解，不能简单地仅以“部署位置”或“数据训练”单一条件判断。
2025-04-22 15:22:46
765
原创 【已解决】Git：为什么 .gitignore 不生效？如何停止跟踪已提交文件并阻止推送？
通过此方法，你可以灵活管理本地文件与远程仓库的关系，避免误操作导致敏感数据或大文件泄漏到仓库中。
2025-03-27 11:44:31
929
原创 【Titans】为什么不直接用预测误差，而是使用梯度的变化来衡量惊奇度？
Titans 论文选择使用梯度变化而非预测误差来衡量“惊奇度”，主要是因为梯度变化能够捕捉模型对输入的全局敏感性和动态响应，而不仅仅是局部的预测性能。这种方法在在线学习、强化学习等需要动态调整记忆的场景中尤为有用。然而，梯度变化也有其局限性，例如计算开销和解释性不足。因此，在实际应用中，是否使用梯度变化作为“惊奇度”指标需要根据具体任务和模型架构进行权衡。
2025-03-11 17:01:11
858
原创 【RNN】什么是线性RNN？
线性RNN是一种简化的RNN模型，其隐藏状态和输出完全基于线性变换。由于缺乏非线性激活函数，线性RNN的表达能力有限，主要用于理论研究和简单任务。然而，它在理解RNN的基本原理、分析长期依赖问题以及作为基线模型等方面具有重要意义。对于实际应用中的复杂序列建模任务，通常需要使用标准RNN或其改进版本（如LSTM、GRU）。
2025-03-11 15:41:26
1163
原创 【Transformer优化】Transformer的局限在哪？
当我们审视Transformer的缺陷时，不应简单归咎于"复杂度高"的片面标签，而应深入其数学本质与计算特性，在理解其局限的基础上突破前进。正如Vaswani在原论文中坦言：“我们的方法并不是万灵丹”，正视这些缺陷，或许我们才能真正站在Transformer的肩上，望向更远的未来。
2025-03-09 23:33:32
1273
原创 【时间序列】Patch：到底是什么？
时间序列的“Patch化”不仅是一种技术改进，更是认知范式的转变——它摒弃了逐点分析的原子视角，转而通过局部片段间的相互作用重建全局动态。
2025-03-09 23:14:01
1465
原创 【时间序列】因果推断：从时序数据中探寻“因”与“果”
时间序列因果推断是一种分析方法，旨在研究时间序列数据中的变量之间是否存在因果关系，以及这种关系的方向性。A的变化是否导致了B的变化？如果A发生变化，B会如何响应？时间序列因果推断是一项强大的工具，它让我们能够从动态变化的数据中挖掘出真实的因果关系。
2025-03-07 23:34:07
1464
原创 【时间序列聚类】从数据中发现隐藏的模式
简单来说，时间序列聚类是一种将相似的时间序列归为一类的技术。它的核心目标是找到具有相似模式或行为的时间序列，并将它们分组。
2025-03-07 23:26:38
1077
原创 【时序预测】时间序列有哪些鲁棒的归一化方法
时间序列数据的归一化是一个关键但复杂的预处理步骤。传统方法如最小-最大归一化和Z-Score标准化虽然简单易用，但在面对异常值和非平稳性时表现不佳。相比之下，基于分位数的归一化、滑动窗口归一化、MAD以及自适应归一化等方法更具鲁棒性，能够有效应对时间序列数据的挑战。在实际应用中，建议根据数据特性和任务需求灵活选择归一化方法，并通过实验验证其效果。希望本文能为读者提供启发，帮助大家更好地处理时间序列数据！
2025-03-04 23:34:27
1208
原创 【Transformer优化】什么是稀疏注意力？
稀疏注意力是一种对传统自注意力机制的优化方法，其核心思想是通过限制注意力范围，减少需要计算的注意力权重数量，从而降低计算复杂度。换句话说，稀疏注意力只允许模型关注输入序列中的一部分元素，而不是所有元素。稀疏注意力作为一种优化 Transformer 的关键技术，通过减少计算和内存开销，为大规模模型的应用铺平了道路。它的出现不仅解决了传统自注意力机制的效率瓶颈，还为模型设计提供了新的思路。对于研究者和工程师而言，稀疏注意力的意义在于提醒我们：在追求模型性能的同时，也需要关注其效率和可扩展性。
2025-03-04 12:25:43
1538
原创 【深度学习】Hopfield网络：模拟联想记忆
Hopfield网络是一种经典的循环神经网络，由物理学家John Hopfield在1982年提出。想象你看到一张模糊的老照片，虽然细节不清，但大脑能自动“补全”图像细节。，类似于人类大脑通过部分信息回忆完整记忆的能力。
2025-03-02 18:39:32
937
原创 【Transformer优化】核函数映射维度变大计算复杂度会变大吗？
线性注意力在处理长序列时，尽管映射后维度增加，但整体计算复杂度仍然大幅低于标准自注意力，从而显著提升了模型的可扩展性和处理效率。
2025-03-02 18:17:13
857
原创 【Transformer优化】为什么可以用核函数替代softmax？
总结一下，用核函数代替softmax的本质是通过数学上的技巧，将原本需要显式计算的大矩阵分解或近似为更低维度的操作，从而在保持模型表达能力的同时，显著降低计算和内存开销。问题就在于这个QK^T矩阵，当N很大时，存储和计算它都非常昂贵。：例如，Performer模型使用了基于正交随机特征的核（FAVOR+），将Q和K映射到高维空间，从而近似softmax的结果，而无需计算完整的注意力矩阵。
2025-03-02 17:14:16
1016
原创 【深度学习】输入长度大于训练时输入长度会发生什么？LSTM 和 Transformer对比。
在训练时，模型通常以固定长度的上下文窗口（如 2048）进行截断反向传播（Truncated Backpropagation Through Time, TBPTT）。当训练时输入长度为 2048，但在生成时输入一个长度为 4096 的文本时，LSTM 和 Transformer 内部会发生什么，以及它们是否能够记住最初的 2048 个 token。Transformer 的自注意力机制允许模型一次性关注整个上下文窗口内的所有 token。
2025-03-02 16:30:42
1135
原创 【时序预测】在线学习：算法选择（从线性模型到深度学习解析）
在动态时序预测场景中，数据以流式形式持续生成，且潜在的数据分布漂移可能显著影响模型性能。传统批量训练模型因无法适应动态变化而逐渐失效，在线学习（Online Learning） 通过持续更新模型参数，成为解决此类问题的关键技术。
2025-03-01 21:48:00
1052
原创 大语言模型（LLM）如何赋能时间序列分析？
从文本接口到世界模型，LLM正逐步深入时间序列的核心战场。尽管面临噪声敏感、计算成本等难题，但其在可解释性、少样本学习和跨模态关联方面的潜力，可能重塑时序分析的未来范式。对于从业者而言，掌握“时序特征工程+LLM提示工程”的复合技能，将成为破解工业智能化痛点的关键。
2025-03-01 20:59:33
1262
原创 【已解决】Python：报错 [Errno 2] No such file or directory
本文解决：Python：报错 [Errno 2] No such file or directory 的问题。
2025-02-25 22:06:23
3790
2
原创 【已解决】pydev debugger: CRITICAL WARNING: This version of python seems to be incorrectly compiled
【已解决】pydev debugger: CRITICAL WARNING: This version of python seems to be incorrectly compiled
2025-02-24 19:34:58
1079
原创 【对比】远程桌面控制软件盘点（2025年）
远程手机连接电脑的软件可以帮助用户实现远程控制、文件传输、屏幕共享等功能。这些软件通常适用于技术支持、远程办公、设备管理等场景。
2025-02-24 19:33:33
9137
原创 【量化交易】容易被忽略的细节：小问题可能引发大灾难
在实际操作中，许多看似微不足道的细节如果被忽略，可能会导致严重的后果，甚至让整个策略失效或造成重大损失。本文将从数据、模型、执行、风险管理等多个角度，深入探讨这些容易被忽视但至关重要的细节，并提出相应的解决方案。量化交易是一门融合了数学、统计学、计算机科学和金融学的多学科领域，其成功不仅依赖于复杂的算法和强大的计算能力，更需要对细节的高度关注。因此，无论是数据准备、模型构建、交易执行还是风险管理，都需要保持严谨的态度和全面的视角。记住，量化交易的核心不仅是“快”和“准”，更是“稳”。
2025-02-18 19:52:54
920
原创 【对比】Pandas 和 Polars 的区别
选择 Pandas如果你的数据规模较小（<1GB），并且需要丰富的功能和成熟的生态系统。如果你需要与 Python 生态中的其他工具（如 Scikit-learn）无缝集成。如果你是初学者，希望快速上手数据分析。选择 Polars如果你的数据规模较大（>1GB），并且对性能要求较高。如果你需要处理实时或流式数据，或者需要高效的内存管理。如果你熟悉 Rust 或者愿意尝试新兴的高性能工具。
2025-02-18 16:00:23
3771
1
原创 【量化交易】日内预测交易中的有效特征因子
在日内预测交易中，选择有效的特征因子是成功的关键。上述因子涵盖了技术指标、成交量、时间序列、市场情绪和宏观经济等多个维度，每个因子都有其独特的作用和适用场景。其核心思想是通过数据分析和统计建模，发现市场中的规律和模式，并以此为基础制定交易策略。本文将由浅入深地介绍量化交易的基本概念，并探讨在日内预测交易中可能有效的特征因子及其背后的逻辑。在日内交易中，选择有效的特征因子可以帮助我们更好地预测价格走势，从而制定盈利策略。日内交易是指在一个交易日内完成买入和卖出操作的交易方式。
2025-02-17 17:21:14
1324
原创 【已解决】｜Python｜pip更换镜像源
为了避免每次安装包时都手动指定镜像源，可以通过配置文件永久设置镜像源。如果只是偶尔需要使用镜像源，可以在安装包时通过。参数后面跟着的是镜像源的URL。（Linux/macOS）或。-i <镜像源地址>
2025-02-17 17:11:01
1104
原创 【机器学习】常见采样方法详解
数据采样是指从原始数据集中按照一定的方法选择部分数据用于分析或模型训练的过程。减小数据规模：处理海量数据时，通过采样减少计算资源消耗。处理数据不平衡：在分类任务中，某些类别样本稀少，通过采样平衡类别分布。提升模型泛化：通过不同的采样策略增强模型的鲁棒性。Bootstrapping与集成学习：用在如随机森林等集成模型中，生成多样化的训练集。理解并正确应用不同的采样方法，是提升机器学习模型性能的关键步骤之一。
2025-02-13 20:52:50
7218
1
原创 【时序预测】-深度学习系列
因果卷积 +核心：确保了输出的时间点只依赖于输入序列中时间戳早于或等于该输出时间点的数据，核心模块能够扩大卷积层的感受野，从而更充分学习序列的全局信息。
2025-02-11 20:15:51
483
原创 【已解决】｜VSCode｜“正在重新激活终端”
1、切换Python环境的时候有问题，然后一直显示“正在重新激活终端”。: Clear Cache and Reload Window，而。2、此处电脑：MAC。
2025-02-11 20:09:17
2787
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人