2021年01月_PaperWeekly

转载关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

NLP近几年非常火，且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资...

2021-01-31 12:59:40 327

原创如何使用PyTorch的量化功能？

背景在深度学习中，量化指的是使用更少的 bit 来存储原本以浮点数存储的 tensor，以及使用更少的 bit 来完成原本以浮点数完成的计算。这么做的好处主要有如下几点：更少的模型体积，...

2021-01-31 12:59:40 7749 5

转载科学家「黑进」果蝇大脑跑NLP任务，发现效率比BERT高

作者｜机器之心编辑部来源｜机器之心研究了半天人工神经网络，还不如复制粘贴动物的答案？最近一段时间，有关摩尔定律终结的讨论时常出现，深度学习越来越高的算力需求与芯片制造厂商们「挤牙膏」式...

2021-01-31 12:59:40 271

原创 AAAI 2021 | 利用标签之间的混淆关系，提升文本分类效果

©PaperWeekly 原创 ·作者｜张琨学校｜中国科学技术大学博士生研究方向｜自然语言处理论文标题：Label Confusion Learning to Enhance Text...

2021-01-30 11:30:00 2367 6

转载学习历史预测未来，国防科大新模型实现未来事实预测SOTA

作者｜祝存超、陈牧昊等来源｜机器之心时序知识的表征和推理是一个具有挑战性的问题。在本文中，来自国防科技大学等的研究者借鉴了自然语言生成（NLG）中的复制机制思路，并通过设计一种全新的基...

2021-01-29 13:12:09 489

原创傅里叶思想漫谈：从希尔伯特空间到不确定性原理

©PaperWeekly 原创 ·作者｜Maple小七学校｜北京邮电大学硕士生研究方向｜自然语言处理绪言傅里叶分析理论是数学史上最为辉煌的成就之一，由此发展和延伸出来的一系列理论在大量...

2021-01-29 13:12:09 2124 1

转载关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...

大家都知道NLP近几年非常火，而且发展也特别快。那些耳熟的BERT、GPT-3、图神经网络、知识图谱等技术实际上也就是这几年发展起来的，特别像图神经网络在这两年间取得了飞速的发展。我们正...

2021-01-28 13:36:56 1663 1

转载直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，...

2021-01-28 13:36:56 320

转载官方发布：深度学习高层API保姆级中文教程免费开放

很多小伙伴在后台给我留言，零基础如何入门深度学习？想要做算法工程师，自学了python基础，现在还来得及吗？这个问题很大。很难说一篇文章几句话就能解决这个问题。今天我给大家说一下自己的一...

2021-01-28 13:36:56 261

转载堪比当年的LSTM，Transformer引燃机器学习圈：它是万能的

作者｜魔王来源｜机器之心谷歌研究科学家 David Ha：Transformer 是新的 LSTM。2017 年 6 月谷歌发布论文《Attention is All You Need...

2021-01-27 18:42:26 315

原创垂直领域出海，多语言预训练好使吗？

©PaperWeekly 原创 ·作者｜刘世兴、程任清单位｜腾讯游戏知几AI团队研究方向｜自然语言处理简介垂直领域业务出海，往往面临着新语种、低资源语言数据不足等多语言挑战，其中一条技...

2021-01-27 18:42:26 953

转载 3天造了一个深度学习轮子，生猛！

2020国内深度学习框架领域百花齐放。各大公司也都陆续推出了自己的框架，大大推动了深度学习的发展。深度学习俨然已经渗入到我们生活中的每个角落，给生活带来极大便利。深度学习能够针对生产生活...

2021-01-26 12:49:02 257

转载岗位内推 | 阿里巴巴达摩院决策智能实验室招聘全职/实习生

PaperWeekly 致力于推荐最棒的工作机会，精准地为其找到最佳求职者，做连接优质企业和优质人才的桥梁。如果你需要我们帮助你发布实习或全职岗位，请添加微信号「pwbot02」。阿里巴...

2021-01-26 12:49:02 648

原创 NeurIPS 2020 | 基于能量的OOD检测

©PaperWeekly 原创 ·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，Causality论文标题：Energy-based Out-of-distribution De...

2021-01-26 12:49:02 1438 2

原创搜出来的文本：从文本生成到搜索采样

©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络最近，笔者入了一个新坑：基于离散优化的思想做一些文本生成任务。简单来说，就是把我们要生成文本的目标...

2021-01-25 13:16:26 302

转载文末送书丨深度迁移学习方法的基本思路

百度前首席科学家、斯坦福大学副教授吴恩达（Andrew Ng）曾经说过：迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力。本文选自《深度学习 500 问：AI 工程师面试...

2021-01-25 13:16:26 423

转载步入2021，大热的GNN会在哪些应用领域大展拳脚呢？

作者｜Sergei Ivanov来源｜机器之心由于 GNN 在图节点之间强大的建模功能，使得与图分析相关的研究领域取得了突破。本文我们将介绍关于 GNN 热门应用研究。近年来，由于图结...

2021-01-24 21:05:13 606

转载 2020年这10大机器学习研究最具影响力：为什么？接下来如何发展？

作者｜Sebastian Ruder来源｜机器之心编辑部去年有哪些机器学习重要进展是你必须关注的？听听 DeepMind 研究科学家怎么说。2020 年因为新冠疫情，很多人不得不在家工...

2021-01-23 21:09:31 456

原创 L0对抗攻击JSMA的算法盘点

©PaperWeekly 原创 ·作者｜孙裕道学校｜北京邮电大学博士生研究方向｜GAN图像生成、情绪对抗样本生成引言JSMA 是非常著名的对抗攻击，它第首次在对抗攻击中引入了的度量...

2021-01-23 21:09:31 3596 4

原创将SimCLR应用于NLP预训练模型，提升句子语义表征效果

©PaperWeekly 原创 ·作者｜张琨学校｜中国科学技术大学博士生研究方向｜自然语言处理论文标题：CLEAR: Contrastive Learning for Sentence...

2021-01-22 12:39:41 1538 5

转载 TPAMI 2020 | 无监督多类域适应：理论，算法与实践

©作者｜张亚斌学校｜香港理工大学研究方向｜迁移学习本文介绍我们最近的一篇 TPAMI 工作：Unsupervised Multi-Class Domain Adaptation: The...

2021-01-21 11:52:41 806 1

原创从动力学角度看优化算法：SGD ≈ SVM？

©PaperWeekly 原创 · 作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络众所周知，在深度学习之前，机器学习是 SVM（Support Vector Machine，支持向...

2021-01-20 11:43:40 448

转载直播 | 清华大学李一鸣：后门攻击简介

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，...

2021-01-19 13:09:54 1509

原创深入浅出线性判别分析（LDA），从理论到代码实现

©作者｜善财童子学校｜西北工业大学研究方向｜机器学习/射频微波在知乎看到一篇讲解线性判别分析（LDA，Linear Discriminant Analysis）的文章，感觉数学概念讲得不...

2021-01-19 13:09:54 776

转载保姆式参赛教程全公开，居然还送10万奖金？

2020年的世界，是人类社会对抗病毒生物的世界，计算生物学研究成为疫苗研制、新药研发的新突破口。近期，百度飞桨上线了10万奖池生物计算大赛：螺旋桨RNA结构预测竞赛：Unpaired P...

2021-01-18 18:20:23 182

转载利用一个样本估计类别数据分布，9行代码提高少样本学习泛化能力

©作者｜杨朔学校｜悉尼科技大学博士生研究方向｜少样本学习，噪音标签学习介绍一篇我们刚刚发表在 ICLR 2021 Oral 上的一篇少样本学习工作，简单有效。论文标题：Free Lun...

2021-01-18 18:20:23 402

原创 BERT相关模型汇总梳理

©PaperWeekly 原创 ·作者｜熊志伟学校｜清华大学研究方向｜自然语言处理BERT 自 2018 年被提出以来，获得了很大的成功和关注。基于此，学术界陆续提出了各类相关模型，以...

2021-01-18 18:20:23 920

转载让PyTorch训练速度更快，你需要掌握这17种方法

作者｜LORENZ KUHN来源｜机器之心编译掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加...

2021-01-17 19:29:27 1835

转载 2021斯坦福图机器学习课程CS224W开课了，Jure Leskovec主讲

作者｜小舟、魔王来源｜机器之心2021 年第一个月刚刚过半，有些学校的新学期就已经开始了。图是一种强大的数据结构，可以用于建模许多真实世界的场景，图能够对样本之间的关系信息进行建模。但...

2021-01-17 19:29:27 349 1

原创论NLP可解释的评估：什么才是“好”的解释？

2021-01-16 17:55:30 1352

原创 ICLR 2021 | 美团、上交大等：鲁棒的可微分神经网络搜索DARTS-

2021-01-15 18:23:11 734 1

转载旷厂练习生 | 小白进阶之三个月发表一篇CVPR

那些进入旷视研究院实习的人，后来都如何了？对于旷视研究院无限好奇的你，想知道答案吗？在此，旷妹深入研究院炼丹一线，隆重推出“旷厂练习生”系列。每一期，我们将介绍一位实习同学，伴随TA的心...

2021-01-15 18:23:11 640

转载 "妙笔"生花：一个易用、高效的文本生成开源库

文本生成作为近年来自然语言处理中的热门领域，受到了学界和工业界的广泛关注。随着研究的不断深入，文本生成领域下的子任务和相应的模型越来越丰富，一些优秀的开源框架也纷纷涌现。现有的开源文本生...

2021-01-14 12:35:02 226

转载理论+技术+代码已经准备完毕！2021年啃透花书！

2021年的学习Flag已经立好了么?这个时代正在以我们跟不上的步伐迅猛地发展，使我们陷入莫名的烦躁！但归根结底不是你在懒惰别人在勤奋，而是都在勤奋，别人的效率却是你的10倍！存着205...

2021-01-14 12:35:02 226

转载直播 | IJCAI 2020：我们离有效的上下文建模还有多远?

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，...

2021-01-14 12:35:02 186

转载 2021年，投身自然语言处理是否明智？

NLP近几年非常火，且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资...

2021-01-13 13:42:23 626

原创归纳+记忆：让机器像人一样从小样本中学习

作者｜耿瑞莹，黎槟华，武玉川，李永彬单位｜阿里巴巴达摩院Conversational AI 团队近年来，对话式 AI（Conversational AI）无论在学术界还是在工业界都在迅猛...

2021-01-13 13:42:23 1856 7

转载直播 | AAAI 2021：自然语言中token-aware的虚拟对抗样本训练

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，...

2021-01-12 12:14:26 4938

转载无线通信AI大赛正式开放评测，50万大奖等你霸榜！

权威赛事大咖群集高额奖金共计50万简单赛制一榜到底无线通信AI大赛、就等你来！一大赛介绍科技是历史前进的推动力，是国家竞争的制高点。中国突破经济发展中的瓶颈、实现经济发展转型的根本...

2021-01-11 12:10:42 538

转载直播 | AAAI 2021：文本对抗攻防中的对抗训练方法

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，...

2021-01-11 12:10:42 704

空空如也

空空如也