Pytorch
文章平均质量分 96
彭伟_02
Ph.D NLP in AI
展开
-
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension 论文阅读
面向机器阅读理解的双向认知思维网络专知阅读链接摘要本文从互补学习系统理论的角度提出了一种新的阅读理解双向认知知识框架(BCKF)。它旨在模拟大脑中两种回答问题的思维方式,包括逆向思维和惯性思维。为了验证该框架的有效性,我们设计了一个相应的双向认知思维网络(BCTN),对文章进行编码,生成一个给定答案(问题)的问题(答案),并对双向知识进行解耦。该模型具有逆向推理的能力,有助于惯性思维产生更准确的答案。在DuReader数据集中观察到有效地改善,证实了我们的假设,即双向知识有助于QA任务。同时,这个.原创 2021-02-15 14:26:00 · 2040 阅读 · 1 评论 -
NLP(文本)中的对抗训练
《NLP中的对抗训练》最近在做百度的阅读理解竞赛,这次的竞赛目的主要是针对模型的鲁棒性。百度提出了dureader-robustness数据集,具体可以参考之前的博客《Improving the Robustness of Question Answering Systems to Question Paraphrasing》,有介绍到具体的问题和任务。那么针对上述的问题,能用什么方法解决呢...原创 2020-06-24 17:49:23 · 7216 阅读 · 4 评论 -
基于pytorch的transformer代码实现(包含Batch Normalization,Layer normalization,Mask等讲述)
基于pytorch的transformer代码实现2017年谷歌再nips上发表的《Attention Is All You Need》,完全基于Attention机制,解决RNN和CNN同时存在的问题,又将两者的优点结合。首先会介绍一下Transformer的由来以及结构,然后再介绍具体的实现代码,结合机器翻译实现。TransformerMotivationRNN的递归无法并行,长距离...原创 2020-03-09 17:26:37 · 10170 阅读 · 5 评论 -
Pytorch固定参数训练
《Pytorch固定参数训练》记录一下固定训练参数的方法:requires_grad参数设置1、初始化时指定Variable,如下语句所示:i = Variable(torch.randn(5,5), requires_grad=True)2、对于自己定义的一些基本网络,Linear等:self.linear = nn.Linear(config.hidden_size * 3, c...原创 2020-03-02 14:10:06 · 3870 阅读 · 0 评论 -
pytorch参数初始化方法
pytorch参数初始化方法PyTorch 中参数的默认初始化在各个层的 reset_parameters() 方法中。例如:nn.Linear 和 nn.Conv2D,都是在 [-limit, limit] 之间的均匀分布(Uniform distribution),其中 limit 是 1. / sqrt(fan_in) ,fan_in 是指参数张量(tensor)的输入单元的数量下面是几...转载 2019-11-28 17:48:00 · 11163 阅读 · 1 评论 -
pytorch 损失函数(平方损失、二分类损失、交叉熵损失等)
损失函数损失函数,又叫目标函数,是编译一个神经网络模型必须的两个参数之一。另一个必不可少的参数是优化器。损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选择,典型的有距离向量,绝对值向量等。上图是一个用来模拟线性方程自动学习的示意图。粗线是真实的线性方程,虚线是迭代过程的示意,w1 是第一次迭代的权重,w2 是第二次迭代的权重,w3 是第三次迭代的权...转载 2019-11-22 21:17:24 · 10365 阅读 · 0 评论