• 博客(914)
  • 收藏
  • 关注

原创 有效扩展:来自预训练和微调变换器的见解、rct.ai训练出5亿参数的BERT-X模型

预训练周刊关于周刊本期周刊,我们选择了14篇预训练相关的论文,涉及短语检索、网络结构、文本排序、架构扩展、对话选择、语言检测、模型微调、机器翻译、属性注入、阅读理解、蛋白序列学习、蛋白质预测、蛋白属性预测和通用语言模型的探索。此外,在研究动态方面,我们选择了2篇预训练资讯,将介绍大模型产业分析和中文模型训练方面的一些最新内容。周刊采用社区协作的模式产生,欢迎感兴趣的朋友们参与我们的工作,一起来推动预训练学习社群的分享、学习和交流活动。可以扫描文末的二维码加入预训练群。(本期贡献者:申德周 翟珂 吴新

2021-10-19 10:41:52

原创 《强化学习周刊》第22期:ICRA 2021-2022强化学习的最新研究与应用

强化学习作为人工智能领域研究热点之一,其研究进展与成果也引发了众多关注。并且诸多研究成果发表于ICRA 2021-2022学术会议中,为帮助研究与工程人员了解该领域的相关进展和资讯,智源社区结合领域内容,撰写为第22期《强化学习周刊》。本期周刊整理了ICRA 2021-2022中强化学习领域相关的最新论文推荐和新工具等,以飨诸位。周刊采用社区协作的模式产生,欢迎感兴趣的朋友们参与我们的工作,一起来推动强化学习社群的分享、学习和交流活动。可以扫描文末的二维码加入强化学习社区群。本期贡献者:李明,刘青,刘元

2021-10-19 10:16:50

原创 AMiner论文推荐

论文名称:Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers论文链接: https://www.aminer.cn/pub/614bf07e5244ab9dcbc5d5f7?f=cs本文主要讨论了预训练和微调变换器的规模效应。关于变换器架构的扩展行为,仍有许多悬而未决的问题。本文的主要发现如下:(1)作者表明,除了模型大小之外,模型形状对下游微调也很重要,(2)缩放提议在不同的计算区域以不同的方式运行,(3

2021-10-18 18:29:47 1

原创 AMiner论文推荐

论文名称:Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops.论文链接: https://www.aminer.cn/pub/612b64a55244ab9dcb14211f?f=cs本文推荐了一种新的神经网络结构。作者提出了一种折叠深的方法将任意大小的神经网络转换为具有多个时延反馈的单个神经元循环。这种单神经元深度神经网络仅包含一个非线性

2021-10-18 18:27:46 3

原创 AMiner论文推荐

论文名称:Recovery RL: Safe Reinforcement Learning with Learned Recovery Zones论文链接:https://www.aminer.cn/pub/5f9fcda491e0112e85ce8fe9?f=cs安全仍然是阻止在现实世界中广泛使用RL的主要障碍:在不确定的环境中学习新任务需要进行广泛的探索,而安全则需要进行有限的探索。本文提出了Recovery RL,该算法可通过(1)利用离线数据来了解违反约束的区域来导航此折中前策略学习和(2) 分离

2021-10-18 18:27:03 4

原创 AMiner论文推荐

论文名称:DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies论文链接:https://www.aminer.cn/pub/604f1e079e795e5feaac5514f=cs是否可以使用强化学习来学习可以执行各种不同任务,产生灵活且可重复使用的技能的通用策略?上下文策略原则上提供了此功能,但是上下文的表示方式决定了概括性和表达性。分类上下文无法将其推广到全新的任务。目标条件策略

2021-10-18 18:26:23 1

原创 IJCAI2021 Person Re-identification相关论文集合推荐

1论文名称:Low Resolution Information Also Matters - Learning Multi-Resolution Representations for Person Re-Identification.论文链接: https://www.aminer.cn/pub/60b0713391e0118b560fecd1?f=cs2论文名称:Graph Consistency Based Mean-Teaching for Unsupervised Domain Adapti

2021-10-13 10:08:05 14

原创 IJCAI2021强化学习相关论文集合推荐

1、 论文名称:Reinforcement Learning for Sparse-Reward Object-Interaction Tasks in a First-person Simulated 3D Environment.论文链接:https://www.aminer.cn/pub/5f9bd99491e011dcf482d815?f=cs2、 论文名称:BACKDOORL - Backdoor Attack against Competitive Reinforcement Learnin

2021-10-13 09:51:54 17

原创 AMiner论文推荐

AMiner论文推荐论文名称:Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation论文链接:https://www.aminer.cn/pub/60dd292491e011cc85cbcc06?f=cs语义分割是计算机视觉的关键问题之一,它可以提供细粒度环境信息。因此在许多应用,比如机器人和自动驾驶中,都有极其重要的应用。根据使用传感器的种类,目前的语义分割方法可以分为三类:基于摄像头的方法,基于激光雷达的方法

2021-10-11 19:19:50 10

原创 AMiner论文推荐

AMiner论文推荐论文名称:Adaptive Focus for Efficient Video Recognition论文链接:https://www.aminer.cn/pub/6099028591e011aa8bcb6e2c?f=cs相较于图像,视频识别是一个分布范围更广、应用场景更多的任务。如下图所示,每分钟,即有超过300小时的视频上传至YouTube;至2022年,超过82%的消费互联网流量将由在线视频组成。自动识别这些海量视频中的人类行为、事件、紧急情况等内容,对于视频推荐、监控等受众

2021-10-11 19:19:12 5

原创 ICCV2021 神经结构相关论文集合推荐

1、 论文名称:Evolving Search Space for Neural Architecture Search论文链接:https://www.aminer.cn/pub/5fbcdaee91e01127d58eee45?f=cs论文名称:AdvRush: Searching for Adversarially Robust Neural Architectures论文链接:https://www.aminer.cn/pub/610a359e5244ab9dcbb12867?f=cs论文名

2021-10-11 19:07:46 12

原创 ICCV2021 语义分割相关论文集合推荐

1、 论文名称:Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation论文链接:https://www.aminer.cn/pub/60fe36095244ab9dcb35b009?f=cs2、 论文名称:A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Da

2021-10-11 19:07:05 10

原创 ICCV2021 2D目标检测相关论文集合推荐

1、 论文名称:Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation论文链接:https://www.aminer.cn/pub/60fe36095244ab9dcb35b009?f=cs2、 论文名称:Warp Consistency for Unsupervised Learning of Dense Correspondences论文链接:h

2021-10-11 19:06:22 11

原创 ICML2021会议论文列表(可下载)

ICML2021大会已于2021年7月18日到7月24日召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文: https://www.aminer.cn/conf/icml2021?f=cs国际机器学习大会( International Conference on Machine Learning)是由国际机器学习学会(IMLS)主办的年度机器学习国际顶级会议。想要了解更多关于强化学习、神经网络、神经网络图、深入强化学习、生成模型、多智能体强化学习等研究方向的相关论文,欢迎来

2021-10-09 16:31:43 48

原创 ACL2021会议论文列表(可下载)

ACL2021大会已与2021年8月1日到2021年8月6日召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文: https://www.aminer.cn/conf/acl2021?f=csACL会议(Annual Meeting of the Association for Computational Linguistics)是自然语言处理与计算语言学领域最高级别的学术会议之一,由计算语言学协会主办,每年一届。会议主题涉及对话,评测,信息抽取,信息检索,语言生成,语言资源,

2021-10-09 16:31:02 40

原创 KDD2021会议论文列表(可下载)

KDD2021大会已于2021年8月14日到8月18日在新加坡召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/kdd2021?f=csKDD 2021是跨学科数据科学会议,将汇集来自数据科学、机器学习、大数据和人工智能领域的研究人员和从业人员,为未来创新提供动力。将在会议上宣布的ACM SIGKDD年度奖项已开始接受提名,期限为从即日起到5月1日结束。今年的会议主办地在新加坡,但是会议组织者关注实现跨时区平等 – 每份关

2021-10-09 16:30:19 36

原创 VLDB2021会议论文列表(可下载)

VLDB2021大会已于2021年8月16日到8月20日在单卖哥本哈根的蒂沃利酒店和会议中心召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/vldb2021?f=csVLDB 2021 是一次混合会议,于 2021 年 8 月 16 日至 8 月 20 日举行,欢迎现场和虚拟与会者。虚拟与会者将通过 Whova 和 Zoom 参与,并邀请他们查看我们在参与者信息菜单中提供的Whova 说明和缩放背景。丹麦哥本哈根的T

2021-10-09 16:29:35 12

原创 SIGIR2021会议论文列表(可下载)

SIGIR2021大会已于2021年7月11日到2021年7月15日在线上召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文: https://www.aminer.cn/conf/sigir2021?f=cs每年一次的SIGIR会议是在信息检索(IR)这个广阔的领域中,展示新研究成果、新系统和新技术的主要国际论坛。第44届ACM SIGIR会议将于2021年7月11日至15日在加拿大Montréal举行(支持远程出席),欢迎与信息检索和访问的任何方面有关的贡献,包括理论、基础

2021-10-09 16:26:48 10

原创 IJCAI2021会议论文列表(可下载)

IJCAI2021会议已于2021年11月7日到2021年11月9日在中国成都举召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/ijcai2021?f=cs国际人工智能联合会议(International Joint Conference on Artificial Intelligence, 简称为IJCAI)是人工智能领域中最主要的学术会议之一,原为单数年召开,自2016年起改为每年召开。有时还会和其他地区性的人工智

2021-10-09 16:26:06 15

原创 ICCV2021会议论文列表(可下载)

ICCV2021大会已于2021年10月10日到2021年10月17日在中国长沙召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文: https://www.aminer.cn/conf/iccv2021?f=cs会议旨在针对计算机科学、人工智能、机器人科学与工程、大数据等前沿领域,为专家学者、工程技术人员、技术研发人员提供一个交流全球相关领域科技学术最新发展趋势,链接重点领域国内外顶尖、活跃、最新学术资源的平台,通过经验分享和智慧碰撞,推动科研学术成果转化和人才、技术、资本聚

2021-10-09 16:25:24 54

原创 EMNLP2021会议论文列表(可下载)

EMNLP2021大会将于2021年11月7日到2021年11月11日在线和在多米尼加共和国蓬塔卡纳的巴塞莱·巴瓦罗会议中心召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/emnlp2021?f=csConference on Empirical Methods in Natural Language Processing(EMNLP)会议是国际学术组织主办和发起的系列国际学术会议。EMNLP是由国际计算语言学协会下属特

2021-10-09 16:24:40 19

原创 NEURIPS2021会议论文列表(可下载)

NEURIPS2021大会将于2021年12月6 日到2021年12月14日召开,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/neurips2021?f=csNIPS(NeurIPS),全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIP

2021-10-09 16:23:59 45

原创 MobiCom2021会议论文列表(可下载)

MobiCom2021将于2022年1月31日至2月4日在美国新奥尔良举行,目前会议的论文都已经放出, AMiner对会议论文进行整理,查看全部论文:https://www.aminer.cn/conf/mobicom2021?f=csACM SIGMOBILE于1995年初成立,最初是一个促进移动性和无拴无所不在连接领域研究的组织。1997年初,我们有21个成员,是一个相对不为人知的组织。从那时起,我们的规模和地位都在增长,成员遍布世界各地。我们的成员在学术界、工业界和政府部门工作。他们是学生、教师、实

2021-10-09 16:23:09 19

原创 AMiner论文推荐

论文名称:Vision Transformers for Dense Prediction论文地址:https://www.aminer.cn/pub/605da47491e0113c28655816?f=zh图像语义分割的目标是将图像的每个像素所属类别进行标注。因为是预测图像中的每个像素,这个任务通常被称为密集预测。当前,密集预测的架构几乎都是基于卷积网络的,且通常遵循一种模式:将网络分为一个编码器和一个解码器,编码器通常基于图像分类网络,也称为主干,它是在一个大型语料库 (如 ImageNet)

2021-10-08 15:13:36 51

原创 AMiner论文推荐

论文名称:Causal Inference in Natural Language Processing: Estimation, Prediction, Interpretation and Beyond论文地址:https://www.aminer.cn/pub/613192745244ab9dcb9dfb46?f=zh很多科学领域对于将文本整合成数据越来越感兴趣。NLP 研究人员可能不熟悉这些领域的一个关键特性,即强调因果推理。例如,在推荐一种新的药物疗法之前,临床医生想知道这种药物与疾病进展之间

2021-10-08 15:12:42 11

原创 AMiner论文推荐

论文名称:Effective gene expression prediction from sequence by integrating long-range interactions论文地址:https://www.aminer.cn/pub/615d7dd35244ab9dcb92df24?f=zhDeepMind 的研究者表示,「我们相信 AI 可以帮助我们深入理解这些复杂的领域,加速科学进步,并未人类健康带来潜在收益。」以往关于基因表达的研究通常使用卷积神经网络作为基本构建块,但这些网络

2021-10-08 15:12:02 8

原创 AMiner论文推荐

论文名称:ResNet strikes back: An improved training procedure in timm论文地址:https://www.aminer.cn/pub/615a709d5244ab9dcb3a72e9?f=zh在计算机视觉领域,何恺明等人 2015 年提出的 ResNet(deep residual network,深度残差网络)一直被视为经典架构,它解决了深度 CNN 模型难训练的问题,是 CNN 图像史上的一个里程碑之作。自提出以来,ResNet 系列模型一直

2021-10-08 15:11:13 14

原创 AMiner论文推荐

论文名称:Learning Statistical Texture for Semantic Segmentation论文地址:https://www.aminer.cn/pub/6047484091e0116b67c7905f?f=cs论文提出了量化和计数算子来描述统计纹理表示,然后使用纹理增强模块增强细节、金字塔纹理特征提取模块来利用纹理相关的低层信息。大量的消融实验证明了所提方法的有效性。与现有的方法比较表明,STLNet在多数据集上取得了优异的性能。AMiner,让AI帮你理解科学!https

2021-09-30 16:31:23 24

原创 AMiner论文推荐

论文名称:EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation论文地址:https://www.aminer.cn/pub/6142b6135244ab9dcbc97c21?f=cs在NLP领域,预训练语言模型(如BERT等)在大量任务上都取得了不错的效果,但是它们有着过大的体积以及推理时间,这严重限制了实际的部署。为了解决这个问题,很多模型压缩方法被提出,例如知识蒸

2021-09-30 16:30:35 33

原创 AMiner论文推荐

论文名称:Real numbers, data science and chaos: How to fit any dataset with a single parameter.论文地址:https://www.aminer.cn/pub/5ce3ace6ced107d4c65af225?f=cs论文介绍了如何通过具有单个实值参数的标量函数(连续、可微…)来近似化任何不同模态(时间序列、图像、声音…)的数据集。基于混沌理论的基本概念,研究者采用教学(pedagogical)方法来演示如何调整这个实值参

2021-09-30 16:29:54 10

原创 AMiner论文推荐

论文名称:Skilful precipitation nowcasting using deep generative models of radar论文地址:https://www.aminer.cn/pub/606adaba91e011f23f909679?f=cs1秒生成单个预报现有的很多预报技术会使用大量计算机模拟大气物理状态,这种方法适用于长期的天气预测。而DeepMind团队开发的条件生成模型DGMR,则更专注于未来5到90分钟内的临近预报。这一模型的预测范围最大能达到1536公里×1

2021-09-30 16:29:10 9

原创 AMiner论文推荐

论文名称:Transformer-Unet: Raw Image Processing with Unet论文链接:https://www.aminer.cn/pub/6147fba55244ab9dcb1b54a8?f=cs医学图像分割在生物医学图像分析中占有重要地位,也引起了人们的广泛关注。良好的分割结果可以帮助医生进行判断,进一步改善患者体验。在医学图像分析的众多可用方法中,UNet是最受欢迎的神经网络之一,它通过在编码器和解码器之间添加级联来保持原始特征,这使得它在工业领域仍有广泛的应用。同时

2021-09-29 15:32:44 9

原创 AMiner论文推荐

论文名称:Integrating Pattern- and Fact-based Fake News Detection via Model Preference Learning论文链接:https://www.aminer.cn/pub/6153d6466750f8727fa346b2?f=cs在过去的十多年中,社交媒体出现的虚假信息造成了政治、经济和社会层面的诸多危害,最近的例子莫过于2020年伴随COVID-19蔓延的“信息疫情”(infodemic)。在这种严峻的形势下,检测虚假新闻对维护可信

2021-09-29 15:31:43 8

原创 AMiner论文推荐

论文名称:World Models论文链接:https://www.aminer.cn/pub/5eff1ecddfae5482196f680f?f=cs世界模型(World Model)首次由 Jürgen Schmidhuber 与 David Ha 在 NeurIPS 2018中提出,主要出发点是打造一个通用强化学习环境的生成神经网络模型,为强化学习技术的落地提供完美的模拟环境。这篇工作入选了当年 NeurIPS 的 oral paper。世界模型的灵感来源于心理学上的“心理世界模型”(men

2021-09-29 15:30:57 2

原创 AMiner论文推荐

论文名称:Pathdreamer: A World Model for Indoor Navigation论文链接:https://www.aminer.cn/pub/60a62b4191e0115d932bfbe5?f=cs近年来,世界模型(World Model)在机器人、模拟与强化学习中均取得了出色的研究结果。2018年,Jürgen Schmidhuber 与 David Ha 首次以无监督的方式训练世界模型,使模型能快速学习环境中的压缩时空表征,再将世界模型中的特征作为智能体的输入,训练出

2021-09-29 15:30:09 7

原创 AMiner论文推荐

论文名称:Neuromorphic electronics based on copying and pasting the brain论文链接: https://www.aminer.cn/pub/6152c65b9e795ed0113c5385?f=cs所谓“复制”,就是通过纳米电极阵列复制大脑神经元的连接图,而所谓“粘贴”,就是将连接图粘贴到固态存储器组成的高密度三维网络上。 通过这种方式,研究人员希望打造出一种接近大脑的独特计算特征的存储芯片,能够实现低功耗、轻松学习、适应环境,甚至自主和认知—

2021-09-28 18:00:44 17

原创 AMiner论文推荐

论文名称:Heterogeneous Graph Neural Network via Attribute Completion论文链接:https://www.aminer.cn/pub/60641c2a9e795e72406b65b4?f=cs异质信息网络(HINs)也称为异质图,它是一种由多种类型的节点和边组成的复杂网络,包含了全面的信息和丰富的语义。图神经网络(GNNs)作为处理图结构数据的强大工具,在网络分析任务中表现出了卓越的性能。最近相继提出了许多基于图神经网络的异质图模型,并取得了巨大的

2021-09-28 18:00:03 11

原创 AMiner论文推荐

论文名称:CPT: Colorful Prompt Tuning For Pre-trained Vision-language Models论文链接:https://www.aminer.cn/pub/6152b8a49e795ed0113b6d60?f=cs据论文表示,这也是首次将prompt用于cross-model和零样本/少样本学习视觉定位中。从目前的NLP和VLM模型来看,不少基于prompt的模型效果都不错,让搞CV的同学们也有点心动——能不能给我们也整一个?那么,prompt究竟好在

2021-09-28 17:59:12 7

原创 《强化学习周刊》第21期:EMNLP 2020-2021强化学习的最新研究与应用

强化学习作为人工智能领域研究热点之一,其研究进展与成果也引发了众多关注。并且诸多研究成果发表于EMNLP 2020-2021学术会议中,为帮助研究与工程人员了解该领域的相关进展和资讯,智源社区结合领域内容,撰写为第21期《强化学习周刊》。本期周刊整理了EMNLP 2020-2021中强化学习领域相关的最新论文推荐和新工具等,以飨诸位。周刊采用社区协作的模式产生,欢迎感兴趣的朋友们参与我们的工作,一起来推动强化学习社群的分享、学习和交流活动。可以扫描文末的二维码加入强化学习社区群。本期贡献者:李明,刘青、

2021-09-28 11:37:01 29

原创 AMiner论文推荐

论文名称:Instance-Conditioned GAN论文链接:https://www.aminer.cn/pub/614012bf5244ab9dcb816279?f=cs生成对抗网络 (GAN) 在图像生成领域可以说是最强大的 AI 模型,无论是逼真的图片、抽象的拼贴画、风格迁移都不在话下。 但GAN 也有神经网络模型所共有的致命缺点,就是具有局限性,通常只能生成与训练数据集密切相关的物体或场景的图像。 例如,在汽车图像上训练的 GAN 在生成汽车相关图像时可以做到特别逼真,但可能让它生成鲜花、

2021-09-27 15:23:30 16

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除