小论文准备
文章平均质量分 78
山外小楼听夜雨.
每天敲点代码..
展开
-
论文学习——1960-2016年嘉陵江流域极端降水时空变化特征研究
文章目录1 摘要2 研究方法2.1 数据来源2.2 数据处理2.3 极点对称模态分解方法2.3.1 模态分解2.3.2 时频分析写在前面:增加一些水文方面的常识以及常用词汇,方便以后写论文用~~1 摘要采用相对阈值的极端事件辨识方法,基于极点对称模态分解,从降水频率-强度-持续时间角度,对1960年-2016年嘉陵江流域内持续1d、3d、5d 和7d的极端降水的趋势、周期、突变进行了研究。结果:嘉陵江流域极端降水频率总体趋势无明显变化,但是存在较强的波动变化。2 研究方法2.1 数据来源原创 2022-05-23 08:39:02 · 343 阅读 · 0 评论 -
机器翻译——Seq2Seq模型到attention机制到Transformer
文章目录1 理论部分2 Seq2Seq (15-16年比较流行)2 基于attention的Seq2Seq3 Transformer1 理论部分Seq2Seq模型Attention + Seq2SeqTransformer2 Seq2Seq (15-16年比较流行)如下图所示,Encoder和Decoder部分,都可以使用一种循环神经网络,可以是RNN 、 LSTM、GRU、CIFG 等等。2 基于attention的Seq2Seq改进:每一个encoder的输出,都会进入到下面原创 2022-05-16 08:54:19 · 334 阅读 · 0 评论 -
论文学习——LSTM Encoder-Decoder方法预测设备剩余使用寿命
文章目录1 摘要2 结语3 引言写在前面:《交通运输工程学报》;主办单位:长安大学;双月刊;中文核心1 摘要方法: LSTM Encoder- Decoder数据集:C-MAPSS过程:① 对获取的传感器数据进行预处理,利用LSTM-Encoder 进行编码得到了设备状态的特征信息;② 利用 LSTM Decoder 进行解码,利用解码后的信息预测 “剩余使用寿命”对比试验: LSTM D-LSTM2 结语通过将Encoder Decoder 框架与LSTM 相结合,可以得到更加准确原创 2022-05-15 21:59:01 · 1974 阅读 · 0 评论 -
transformer的学习记录【完整代码+详细注释】(系列七)
文章目录1 介绍优化器和损失函数1.1 优化器和损失函数的代码1.2 介绍 标签平滑函数1.2.1 理论知识1.2.2 具体的参数以及代码展示第一节:transformer的架构介绍 + 输入部分的实现链接:https://editor.csdn.net/md/?articleId=124648718第二节 编码器部分实现(一)链接:https://editor.csdn.net/md/?articleId=124648718第三节 编码器部分实现(二)链接:https://editor.原创 2022-05-15 17:41:24 · 1620 阅读 · 2 评论 -
transformer的学习记录【完整代码+详细注释】(系列六)
文章目录1 输出部分介绍1.1 代码分析1.2 输出部分的实现1 输出部分介绍了解softmax 和 线性层的作用(1)线性层: 转换维度(2)softmax:使得最后一维的向量中的数字缩放到0-1的概率值域内,并且满足和为11.1 代码分析在模型中,d_model 代表是词嵌入的维度,而vocab_size代表的是词表的大小。现在要把d_model 转换到 vocab_size1.2 输出部分的实现这里就叫做 Generate 类# 构建Generate类class Gen原创 2022-05-13 20:40:32 · 2589 阅读 · 0 评论 -
transformer的学习记录【完整代码+详细注释】(系列五)
文章目录1 解码器部分介绍2 解码器层2.1 解码作用2.2 解码器层的代码分析2.3 解码器层类的代码3 解码器3.1 解码器代码1 解码器部分介绍由N个解码层堆叠而成每个解码器由三个子层连接结构组成第一个子层连接结构包括一个多头自注意力子层、规范化层以及一个残差连接第二个子层连接结构包括一个多头注意力子层、规范化层以及一个残差连接第三个子层连接结构包括一个前馈全连接子层、规范化层以及一个残差连接2 解码器层2.1 解码作用每个解码器层, 根据给定的输入,向目标方向进行特征提取操作原创 2022-05-13 17:49:23 · 1196 阅读 · 0 评论 -
transformer的学习记录【完整代码+详细注释】(系列四)
文章目录1 子层连接结构1.1 子层连接结构的代码1.2 完整的代码就不放了,放在下一节2 编码器层2.1 编码器层的作用2.2 代码分析2.3 编码器层的代码3 编码器3.1 代码实现3.2 编码器的输出3 到目前为止的完整的代码3.1 输出第一节:transformer的架构介绍 + 输入部分的实现链接:https://editor.csdn.net/md/?articleId=124648718第二节 编码器部分实现(一)链接:https://blog.csdn.net/weixin_42原创 2022-05-13 12:29:37 · 1160 阅读 · 1 评论 -
transformer的学习记录【完整代码+详细注释】(系列三)
文章目录1 前馈全连接层1.1 前馈全连接层的代码1.2 包括前面学习内容的完整代码2 规范化层2.1 规范化层的作用2.2 规范化层的讲解第一节:transformer的架构介绍 + 输入部分的实现链接: https://editor.csdn.net/md/?articleId=124648718第二节 编码器部分实现(一)链接: https://blog.csdn.net/weixin_42521185/article/details/124702949第三节 编码器部分实原创 2022-05-12 10:42:37 · 1036 阅读 · 0 评论 -
transformer的学习记录【完整代码+详细注释】(系列二)
文章目录1 编码器部分实现1.1 掩码张量1.1.1 用 `np.triu` 生产上三角矩阵1.1.2 生成掩码张量的代码1.1.3 掩码张量可视化展示1.1.4 掩码张量学习总结1.2 注意力机制第一节:transformer的架构介绍 + 输入部分的实现链接: https://editor.csdn.net/md/?articleId=124648718第二节 编码器部分实现链接:1 编码器部分实现1.1 掩码张量目标:了解什么是掩码张量以及它的作用掌握生成掩码张量原创 2022-05-11 10:17:36 · 2308 阅读 · 0 评论 -
transformer的学习记录【完整代码+非常详细】(系列一)
文章目录1 从全局角度介绍transformer2 分开介绍encoder2.1 输入部分3 多头注意力机制解读3.1 公式3.2 例14 Layer Normalization4.1 BN 的缺点1 从全局角度介绍transformertransformer 可以分成两个部分,左边是 encoders 右边是decoders6个encoder 的结构是完全相同的,但是只是结构相同,参数不同;6个decoder 同理。decoder 中多了一个交互层。2 分开介绍encode原创 2022-05-09 08:56:33 · 6443 阅读 · 4 评论