- 博客(9)
- 收藏
- 关注
RSS订阅原创 初探AIGC 生成式AI
注：笔记，自用。最近大模型很火呀，昨天看了今年的小米发布会/雷军年度演讲，想搞搞大模型看看，先看看综述了解一下学术方向，后面看看跟进实战应用。在技术层面上，属于生成AI的范畴。可以将具体技术大致分为两类：基础模型和生成技术。基础模型无法直接生成内容，但对于AIGC的开发是必不可少的，如Transformer模型；生成技术是只能够生成各种内容的方法，如GAN模型、扩散模型。基础模型。
2023-08-15 22:50:11
231
原创 短时傅里叶变换的torch函数调用
是 PyTorch 中用于计算短时傅里叶变换 (STFT) 的函数， 它的主要功能是将一个 1D/2D/3D 张量组成的时间序列 (time series) 转化为 STFT 值。该函数通过在时间域上对信号进行滑动窗口并执行 FFT 来计算 STFT。参数传入了汉明窗函数，大小为2048，也可以使用其他窗口函数；调用“ torch.stft ”函数。python写短时傅里叶变换。
2023-05-16 21:31:17
2249
3原创 关于self-attention
Multi-head Self-attention跟self-attention一样都会生成q、k、v，但是Multi-head Self-attention会再将q、k、v分裂出多个q1,2（这里举例分裂成两个），然后它也将q跟k去进行相乘计算，但是只跟其对应的k、v进行计算，比如q1,1只会与k1,1 、k2,1进行运算，然后一样的乘以对应的v得到输出b1,1。将a穿起来合并成矩阵I与wq相乘，得到q们，组成矩阵Q，同理得到K,V。拿每个qi去对每个ki做点积得到a1,i，其中d是q和k的维度。
2023-03-09 19:25:40
153
原创 注意力机制（CH10）——attention
自用~~笔记~~~李沐《动手学习深度学习》pytorch版第十章笔记。注意力机制与全连接层或汇聚层的区分：“是否包含自主性提示”。如下图，设计注意力汇聚，以便给定的查询（自主性提示）与键（非自主性提示）匹配，引导得出最匹配的值（感官输入）。所以：查询（query，自主提示）和键（key， 非自主提示）之间的交互形成了注意力汇聚，注意力汇聚有选择的聚合了值（value）以生成最终输出。 例如：仅当查询和键相同时，注意力权重为1，否则为0。本节以核回归为例介绍注意力汇聚。通用的注意力汇聚公式： 其中，x是查询，
2022-12-07 17:39:11
1003
原创 时序CNN基础——TCN
在标准卷积的基础上注入空洞，以此来增加感受野（reception field）。因此增加一个超参：膨胀率，指kernel的间隔数量。传统的CNN无法直接处理sequence模型这种序列问题，所以使用因果卷积，其作用就是解决序列问题。wavenet是一种全卷积的模型，包含了多个多层如下dilated的结构，随着dilated conv深度增加，来指数性地增大感受野，捕获序列之间较长的时间关系。 如图，隐层中每一层的节点都会把该原来的值和通过激活函数的值相加后传递给
2022-12-06 13:10:45
4344
原创 Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting论文阅读
NeurlPS2022：Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting. 时序预测过平稳化问题解决方案
2022-11-23 14:43:53
1134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人