- 博客(6)
- 收藏
- 关注
RSS订阅原创 论文写作课程体会
由于自身能力的不足，论文实操的经验比较少，加上自己在英语方面还是有很多欠缺，虽然看了一些大大小小的论文，但是实际写论文的能力还是有很多的不足，刚好这学期上了闵老师的课，系统地构建了从如何写一篇论文，到修改，制图等的过程。完成一篇论文写作整理资料以及参考论文写一篇论文通常需要阅读大量的文献资料去辅助支撑一篇论文的观点。单篇论文的内容不需要太多, 创新点一两个就够。查找资料：学校图书馆一般会有很多数据库或者会议期刊，可以通过校内VPN访问。读文献，总结模板模板总结后，在自己的模板上写.
2021-12-21 17:21:21
232
转载 GPTv1,2,3
GPT : Generative Pre-trained Transforme，由OpenAI提出的非常强大的预训练语言模型。GPT-1通过在无标签的数据上学习一个通用的语言模型，然后再根据特定任务进行微调。无监督预训练：使用了12个transformer[5]块的结构作为解码器，每个transformer块是一个多头的自注意力机制，然后通过全连接得到输出的概率分布。有监督微调：当得到无监督的预训练模型之后，我们将它的参数直接应用到有监督任务中。将token输入到训练好的预训练模型中，得到最终
2021-10-25 18:00:09
705
原创 EvolveGCN 文献阅读笔记
论文题目EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs发表日期、所属会议/期刊/预印本:AAAI 2020做得什么:EvolveGCN在时间维度上采用了图卷积网络（GCN）模型，而无需借助节点嵌入。所提出的方法通过使用RNN来进化GCN参数来捕获图序列的动态性。怎么做的（重点）: EvolveGCN的整体演示图 RNN可以为GRU或LSTM等循环神经网络，时...
2021-10-09 21:06:51
247
原创 GCC 文献阅读笔记
论文题目GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training发表日期、所属会议/期刊/预印本KDD 2020做得什么使用自监督任务对GNN进行预训练，然后针对不同的图学习任务对其进行微调。使用图形对比编码（GCC）框架来学习跨图形的结构表示。怎么做的（重点） GCC的预训练和微调阶段，如图： 预训练 目标：预先训练一个通用图神经网络编码器，以捕获这...
2021-10-09 17:03:52
137
原创 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation文献阅读笔记
发表日期、所属会议/期刊/预印本:arXiv 2014做得什么:本文提出了一种新的神经网络模型，即RNN Encoder-Decoder， 由两个神经网络（RNN）组成。一个RNN将一个符号序列（sequence of symbols）编码成一个固定长度的向量表示，另一个则将这个表示解码成另一个符号序列。该模型的编码器和解码器被联合训练，以最大化给定源序列的目标序列的条件概率。对学习语言短句的表达且其在语义上和句法上都是有意义的。怎么做的（重点):循环神经网络(RNN)循环神经网络（RN
2021-06-22 10:18:58
214
原创 A Neural Probabilistic Language Model(文献阅读笔记)
第一次用神经网络来解决语言模型的问题，本文最大的贡献在于用多层感知器（MLP）构造了语言模型，如下图：
2021-06-07 16:24:47
1101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人