- 博客(7)
- 收藏
- 关注
原创 关于patchTST的结构分析(自用)
之前记录了有关timesnet的相关结构,这里再通过观看源代码的方法,记录有关patchtst的结构(因为patchtst是使用到了transformer结构的模型)实际上理解了这一部分,后面就没有什么难点了,后面就是非常常规的交换维度,常规的重塑维度和值嵌入 (Value Embedding)等部分了。简单的来讲就是:将连续的时间序列数据分割成重叠的补丁。其他的都是比较常规的模块。分别代表着,每个batch为16,seq的长度为256,每个features的维度为61。补丁1: 位置 [0:16]
2025-09-09 16:33:17
963
原创 关于TimesNet的结构相关解析
TimesNet是一种用于时间序列分类的深度学习模型,其核心结构包括数据嵌入和TimesBlock模块。数据嵌入部分通过TokenEmbedding、PositionalEmbedding和TemporalEmbedding对时间序列进行编码。TimesBlock模块采用频域引导的时域融合方法,首先通过FFT检测主周期,然后将序列按周期重排为2D形式,使用Inception结构进行特征提取,最后加权聚合不同周期的特征。模型的创新点在于将1D时间序列转换为2D表示,并利用2D卷积捕捉时域变化模式。该模型在时间
2025-09-01 16:38:47
979
原创 关于pdf论文(期刊)总结模型与开发
本文的目的是做一个深度学习模型,可以对PDF论文、期刊(现只限英文)进行总结。在科研和生活中,假如需要长期关注某个课题组的论文;或者有大量的文献,一篇篇的去看又太耗费时间,那么可以使用这个模型,让模型对大量的论文进行初步的总结,再从中有侧重的挑取自己感兴趣或者研究方向相符的论文进行精读。
2023-12-22 14:38:42
1451
原创 关于集群分布式torchrun命令踩坑记录(自用)
在训练或者微调模型的过程中,单节点的显存溢出,或者单节点的显卡较少,算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令,将这项任务分布到多个节点上来处理。
2023-05-19 16:17:35
41235
2
原创 关于Text Generation的GenerationCoinfig参数
这里对text generation参数基本全部做了详细的介绍,记录于此。
2023-02-17 15:21:16
9882
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅