20200209-20200216 阅读论文

最新推荐文章于 2022-03-18 16:25:11 发布
最新推荐文章于 2022-03-18 16:25:11 发布
阅读量356 收藏
点赞数
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiao_yanling/article/details/104338462
版权

1. Editable neural networks

问题：如何在不改变其他samples的结果的情况下，修正已训练好的模型对某些特殊sample的错误结果。
以往方式：（1）修改数据重训模型—》代价大
（2）人工cache，重定相关sample的规则。—》对微小的差异不够鲁棒。
论文提出的方法：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实验及结果：只看论文在ML上的实验部分
Edit function 优化tansformer最后一层decoder层， l e ( θ ) l_e(\theta)

最低0.47元/天 解锁文章
Xiao_yanling
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AIGC时代高效阅读论文实操
herosunly的博客
01-21 11万+
今天给大家带来的文章是AIGC时代高效阅读论文实操，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 方法论 3. 实操演示 3.1 实操一 3.2 实操二
使用AIGC工具提升论文阅读效率
热门推荐
herosunly的博客
06-10 8万+
本文介绍使用AIGC工具提升论文阅读效率，希望对学习和使用AIGC的同学们有所帮助。 文章目录 1. 前言 2. 科学方法提升阅读效率 3. 检验阅读成果
论文阅读：Editable Neural Networks
null_zhao的博客
08-05 642
ICLR2020，居然是俄罗斯的经济学学校。 文章关注的问题是，如何有效地纠正模型在特定错误上的表现，而不至于影响模型总体性能。本文称其为Editable Training，相当于是一个新问题。(感觉有点类似小样本增量学习？) 1.Introduction 大部分模型，对单个输入的预测要依赖所有的模型参数，做特定纠正很难不影响模型在其它输入上的性能表现。 现有方法是：1.重训练 2.人工缓存（lookup table之类的） 本文提出一种Editable Training的方法。 2.Rela...
20200224-20200301 阅读论文
Xiao_yanling的博客
03-01 524
Compressive transformer for long-range sequence modelling 问题：Transformer关注每一个时间步的computation cost以及保存大量记忆的storage cost。---->以TransformerXL（扔掉比较旧的记忆）为基点，将旧记忆进行压缩。 方法： 几个难理解的点： （1）额外设计的cost： attentio...
必读：ICLR 2020 的50篇推荐阅读论文
AI科技大本营
10-30 1万+
来源 |香侬科技本文整理了ICLR2020的相关论文，此次分享的是从Openreview中选取的部分论文，共50篇，其中大部分为NLP相关。文中涉及的相关论文推荐指数与推荐理由仅为个人观点，利益无关，亦不代表香侬科技立场。希望大家可以从中获得启发。推荐指数4.0论文论文1Reducing Transformer Depth on Demand with Structured Dropoutht...
2021秋招-机器阅读理解整理
LBJ_King的博客
07-09 4402
机器阅读理解整理 经典模型整理 笔记 后Bert时代机器阅读理解 后续 自己论文整理 已经分类整 大的实验室: UCL MRC_Group: AI2: 微软: THU: PKU: 数据集文章 ROPES | Reasoning Over Paragraph Effects in Situations arXiv: https://arxiv.org/abs/1908.05852 Leadboard: https://leaderboard.allenai.org/ropes Note L
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 4902
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
GFP-GAN论文阅读笔记
weixin_44255407的博客
03-18 4806
翻译：《面向现实世界的生成性人脸先验盲复原》 解决的问题： 如何从低分辨率低质量的真实图像中获得较好的先验知识，复原人脸图像 提出：GFP-GAN。其包含了一个退化去除模块 和预训练的人脸GAN作为人脸先验。通过直接的潜在代码映射和几个通道分割空间特征变换（CS-SFT）层以从粗到精方式连接。 贡献： 提出了一种新颖的GFP-GAN框架，该框架具有精巧的架构设计，并能融合人脸生成先验。带有CS-SFT层的GFP-GAN在一次正向传递中实现了保真度和纹理忠实度之间的良好平衡。 网络框架 第一步：退化去除模块
SpCo-NIPS 2022 论文阅读详细笔记
10-30
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum----NeurIPS 2022
paper-阅读论文合集
最新发布
04-13
用于记录阅读论文和书籍的笔记文档
RAM360与OFB-VR论文阅读报告
08-27
RAM360: Robust Adaptive Multi-layer 360 Video Streaming with Lyapunov Optimization OFB-VR: Reinforcement Learning Driven Adaptive VR Streaming with Optical Flow Based QoE
GB-T 7713.2-2022 学术论文编写规则.pdf
03-07
GB_T 7713.2-2022 学术论文编写规则，国家标准，供各位要写论文的童鞋参考
阅读理解-论文.zip
08-18
阅读理解-论文.zip
预训练模型增强机器翻译
Xiao_yanling的博客
04-19 2311
预训练和微调，例如BERT，通过将知识从资源丰富的预训练任务转移到资源低/零资源的下游任务，在语言理解方面取得了巨大成功。然而，由于在神经机器翻译（NMT）中，由于双语任务的训练目标与单语预训练模型相差很大的问题，微调的改进相对较少。那么如何利用预训练模型来增强机器翻译呢？ 首先现有的方法大致可分为两类，第一类是更好地利用预训练模型，一类是设计新的预训练任务，主要是预训练Seq2Seq模型。 IC...
论文笔记09 Google's Neural Machine Translation System:Bridging the Gap Between Human and ML
Xiao_yanling的博客
05-19 1898
Google’s Neural Machine Translation System:Bridging the Gap Between Human and Machine Translation
AAAI 2020 阅读论文笔记
Xiao_yanling的博客
04-26 1144
Towards Making the Most of BERT in Neural Machine Translation 目的：如何更好的使用预训练模型？—>微调效果并不好；上一篇笔记中的方法将BERT embeddings作为encoder的初始化或者中间的嵌入比较适用于低资源的情况，在高资源情况下由于训练中的太多更新，会导致遗忘。 方法： （1）Asymptotic Distilat...
20200217-20200223阅读论文笔记
Xiao_yanling的博客
02-23 1042
On the Discrepancy between Density Estimation and Sequence Generation 问题：探究训练目标（log-likelihood）和实际文本生成评价指标（Bleu）之间的相关性关系。 背景知识总结： 资料：https://www.leiphone.com/news/201911/FQ1HdiHYBcr5EX7z.html Autoregr...
论文笔记：Bridging the Gap between Training and Inference for Neural Machine Translation
Xiao_yanling的博客
10-20 698
Motivation 1.训练过程中基于ground truth进行预测，但推理过程中，整个句子都由模型生成，predicted words被fed到模型，可能会造成错误积累。 2.过度纠正问题。 Method oracle word: 预测词中的ground truth（要自己选出来） yj−1oracle与yj−1∗y^{oracle}_{j-1}与y^*_{j-1}yj−1oracle​与y...
20200406-20200412 论文笔记
Xiao_yanling的博客
04-12 629
FastBERT- a Self-distilling BERT with Adaptive Inference Time Motivation：保证效果的同时提升Bert的效率。样本有不同的难易程度，大模型一般在简单样本上出现过度计算的情况。 self-distillation:不需要额外的预训练结构，teacher和student的输出基于同一个模型（backbone） 其中，speed是...
翻译一下GPT-3的论文
02-17
GPT-3（Generative Pre-trained Transformer 3）是一种基于神经网络的自然语言处理模型，由OpenAI开发。该模型的论文是由T. Brown等人在2020年发布的，题为“Language Models are Few-Shot Learners”（语言模型是少样本学习者）。 该论文提出了一种新的方法，通过对大量的文本数据进行无监督的预训练，将模型的语言知识存储在权重矩阵中。接着，通过对少量样本进行微调，模型可以学会执行各种自然语言处理任务，如文本分类、命名实体识别、问答和语言翻译等。 GPT-3模型使用Transformer结构，该结构基于自注意力机制，可以在不同的文本序列之间建立长距离依赖关系。该模型具有1750亿个参数，是迄今为止最大的自然语言处理模型之一。与较小的GPT模型相比，GPT-3模型可以在各种语言任务上取得更好的性能，而且几乎没有需要人为干预的调整。 论文中还提出了一些应用场景，如利用GPT-3模型进行文本自动生成、机器翻译、对话系统和语言交互等。这些应用将有助于提高自然语言处理在实际应用中的效率和精度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值