- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 图学习 [1]
而图注意力网络，利用可训练的参数W和可训练的注意力网络a（实际上感觉就是一个全连接层，也是一个可训练的W）来模拟各个邻域节点对当前节点的重要程度，相当于真正实现了图像中的卷积神经网络中可训练的卷积核，因此在图学习的各个数据集上达到了新的高度，同时利用“多头注意力”，实际上更像是卷积神经网络中的多个卷积核，增加了特征提取的广度和深度，性能进一步得到提升。2： 表示每个节点的邻域的大小，或者说每个节点搜寻相邻节点的深度，再或者说每个节点想要聚合特征的节点范围的大小。这样我们就能对一个大的矩阵做运算，实现并行。
2023-05-25 10:45:29
799
1
原创 ELECTRA：将文本编码器作为判别器而不是生成器进行预训练
相比于随机替换成其他token，使用一个生成器将生成的内容替换mask，使得生成的这个词比随机替换的词在语义上更接近真实词语，这就使得判别器需要更加深入理解上下文语意才能判别出这个词语是否被替换掉，提升了判别器的理解能力。也就是用xt的token embedding点乘生成器经过编码后的xt的embedding，然后除以所有的x的token embedding点乘的和，算出一个概率，找出最大的概率。生成器的输出用的是一个softmax，算出[mask]，也就是x位置是xt的概率，并找出最大概率作为输出。
2023-04-23 16:40:06
161
1
原创 Bart：用于生成、翻译、理解的去噪的序列到序列的预训练语言模型
Bert：GPT：Bart：输入通过任意噪声变换（途中包括掩码、位置变换），先输入双向编码层进行编码，然后使用自回归解码器进行解码。噪声设置很灵活。对原始文本任意变换，包括随即洗牌原始句子的顺序；将任意长度跨度的文本（包括0长度）替换为一个单一的mask token。
2023-04-19 09:16:12
549
原创 Java发送请求 & SpringBoot定时任务 & Java执行Linux终端命令
Java发送请求 & Java执行Linux终端命令 & SpringBoot设置定时任务
2023-04-05 10:33:21
185
2
原创 Python工具（导包问题、pickle协议问题、argparse用法、configparser用法、assert、difference求差集）
Python工具（导包问题、pickle协议问题、argparse用法、configparser用法、assert、difference求差集）
2022-11-06 15:51:39
245
1
翻译 [论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
2022-11-06 15:43:21
286
1
原创 [阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining
[阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining
2022-10-13 21:55:38
1412
7
原创 阅读文献“Learning Transferable Visual Models From Natural Language Supervision”（CLIP）
阅读文献“Learning Transferable Visual Models From Natural Language Supervision”（CLIP）
2022-09-27 22:52:02
557
原创 阅读文献“Language Models are Unsupervised Multitask Learner”（GPT-2）
阅读文献“Language Models are Unsupervised Multitask Learner”（GPT-2）
2022-09-27 22:50:00
257
原创 阅读文献：“Improving Language Understanding by Generative Pre-Training”（GPT模型）
阅读文献：“Improving Language Understanding by Generative Pre-Training”（GPT模型）
2022-09-27 22:48:17
433
原创 综述类文献 “Pre-trained Models for Natural Language Processing: A Survey”
综述类文献 “Pre-trained Models for Natural Language Processing: A Survey”
2022-09-27 22:45:34
473
原创 FashionGen数据集下载
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录FashionGen数据集下载数据集下载数据集解析并保存所需信息到csv，以及保存图片效果展示FashionGen数据集下载提示：这里可以添加本文要记录的大概内容：数据集下载FashionGen数据集是一个公开数据集，经常用来做图文融合。但是去官网下载的话只是填了一个问卷，接着就没有下文了。经过很长时间的寻找，我最终找到了一个可以在Google Drive上进行下载的FashionGen训练集和验证集，我下载下来后将其.
2022-04-20 13:29:03
1245
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人