Paper weekly

转载 13层网络拿下83%精度，华为诺亚新型神经网络架构VanillaNet「简约」到极致

©作者 |机器之心编辑部来源|机器之心深度学习模型架构越复杂越好吗？自过去的几十年里，人工神经网络取得了显著的进展，这归功于一种理念：增加网络的复杂度可以提高性能。从 AlexNet 引爆了深度学习在计算机视觉的热潮后，研究者们为了提升深度网络的性能，精心地设计出了各种各样的模块，包括 ResNet 中的残差，ViT 中的注意力机制等。然而，尽管深层的复杂神经网络可以取得很好的性能，但他们在...

原创 WWW 2023 | 预训练时空模型新范式

©PaperWeekly 原创 ·作者 |张倩茹单位 |香港大学研究方向 |时空数据挖掘论文题目：Automated Spatio-Temporal Graph Contrastive Learning收录会议：WWW 2023论文链接：https://dl.acm.org/doi/10.1145/3543507.3583304代码链接：https://github.com/HKUDS/A...

转载 北京内推 | 京东零售内容算法部招聘算法工程师（社招T7-T8）

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！京东本团队属于京东零售内容算法部，负责推荐、搜索、小程序等场景下的算法工作，覆盖短视频、直播、店铺、频道等多种业务。在这里，有业内一流的推荐算法专家带领团队探索最新前沿技术，有来自国内外大厂的技术精英一起探讨优化方向，有来自顶尖高校的硕博毕业生共同学习交流。我们致力于用技木驱动...

转载 博士申请 | 新加坡国立大学刘谦雄老师招收机器学习方向全奖博士/博后/RA

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！新加坡国立大学新加坡国立大学（National University of Singapore)，简称国大（NUS），是亚洲顶尖、国际知名的研究型大学（2022年排名在泰晤士高等教育世界大学排名中世界排名第21位，QS世界大学排名中排名第11位）。其电子计算机工程系（ECE）排...

转载 比Adam快2倍！斯坦福马腾宇团队新出大模型预训练优化器，成本减半

©作者 |机器之心编辑部来源|机器之心鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。本文提出了一种简单的可扩展的二阶优化器 Sophia，在与 Adam 比较中，Sophia 在减少了 50% step 数量的情况下实现了与 Adam 相同的验证预训练损失。大语言模型（LLM）的能力随着其规...

原创 ​汇集198篇论文，首篇关于Segment Anything Model的综述来了！

©PaperWeekly 原创 · 作者 | 小马单位 | FightingCV公众号运营者研究方向 | 计算机视觉写在前面四月份，AI Research 提出的基础分割模型 Segment Anything Model（SAM）火爆了整个网络，各种基于 SAM 的二创项目也如雨后春笋搬出现，仅仅用了一个月的时间，SAM 就达到了 70+ 的引用量极大地推动了计算机视觉基础模型的发展。正当很多人还...

转载 博士申请 | 香港理工大学李青教授团队招收机器学习方向全奖博士/博后/RA

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港理工大学香港理工大学位于中国香港特别行政区，QS 最新排名-世界 65 位。计算机系（Department of Computing）QS 学科排名 51-100，U.S.News 学科排名 26，有众多IEEE Fellow及知名学者。导师简介李青教授，香港理工大学电子计...

转载 博士申请 | 西湖大学吴泰霖老师招收AI+Science方向博士生/博士后/实习生

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！西湖大学西湖大学AI+Science实验室与Stanford计算机系、机械系、航空航天系，MIT、布朗大学、清华大学等的相关领域的教授建立了紧密合作或者意向合作关系（也欢迎期待与更多老师合作），共同聚焦解决领域重要问题，实验室也支持鼓励成员的国际国内交流。西湖大学助理教授吴泰霖...

原创 实测「360智脑」的真正实力：能否领跑国内百“模”大战？

ChatGPT 的发布，无疑掀起了一股“AI 技术”新浪潮。百度文心一言、华为盘古、商汤日日新、阿里通义千问、讯飞星火等众多大模型的接连问世，使得国内的“百模之战”进入了前所未有的白热化阶段。无论是各大互联网巨头，还是清华、复旦等知名高校，都纷纷在这条日趋拥挤的大模型赛道上加足马力、全速跟进。早在一个多月前，360 集团也开始为争夺 AI 话语权，带着基于 360GPT 大模型开发的人工智能产品...

转载 LightZero：以 MCTS 为帆，航向决策 AI 的星辰大海

引言图1：AlphaGO对李世石五番棋2016 年 AlphaGo [1] 与李世石的世纪对决可谓是开启了近十年来人工智能技术探索和发展的浪潮。在围棋这一人类最经典优美的智力游戏上，传统的搜索算法往往迷失在浩如烟海的搜索空间中，朴素的神经网络设计也难以捕捉复杂多变的决策序列数据分布，但是，巧妙地将二者相结合，化用蒙特卡洛树搜索算法（Monte Carlo Tree Search, MCTS）和神经...

转载 初识滴滴交易策略之二：司乘匹配

写在前面前文（初识滴滴交易策略之一：交易市场）整体介绍了交易市场的定义、特点、技术特点和技术领域。在交易市场中，市场交易撮合——通常称之为“派单”——无疑是最重要的环节，以下将介绍滴滴交易市场中的司乘匹配技术。对滴滴来说，司乘匹配所解决的最常见问题就是：“当乘客发出网约车订单时，应该将这些订单分配给哪些在线司机？”这个问题看似简单，很多人脑海中立即想到的是“只需要找到最近的司机就行了”。的确，“就...

转载 北京内推 | 智源人工智能研究院招聘CV/NLP方向科研实习生

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！智源人工智能研究院北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）是人工智能领域的新型研发机构。2018年11月14日，在科技部和北京市支持下，联合北京多家人工智能领域优势单位共建。作为新型研发机构，智源研...

转载 在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

©作者 |机器之心编辑部来源|机器之心Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上呈线性增长，但由于并行化和可扩展性的限制，很难达到与 Transformer 相同的性能水平。本文提出了一种新颖的模型架构，Receptance Weighted Key Va...

转载 ICML 2023 | 究竟MAE与对比学习怎样结合才是最优的？ReCon来告诉你答案

论文链接：https://arxiv.org/abs/2302.02318代码链接：https://github.com/qizekun/ReCon介绍一下我们在 3D 表征学习上的新工作，ReCon: Contrast with Reconstruct，通过生成式学习指导对比学习实现高效的 3D 表征，在ScanObjectNN 上实现 91.26% 的 OA，在 ModelNet40 实现 6...

转载 GPT-4推理提升1750%！DeepMind提出全新思维树框架，让LLM反复思考

©作者 |桃子 好困来源|新智元由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。2022年，前谷歌大脑华人科学家Jason Wei在一篇思维链的开山之作中首次提出，CoT可以增强LLM的推理能力。但即便有了思维链，LLM有时也会在非常简单的问题上犯错。最近，来自普林斯顿大学和Google DeepMind研究人...

转载 ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册

本文介绍一下最近被 ICML 2023 接收的文章：A Closer Look at Self-Supervised Lightweight Vision Transformers.论文标题：A Closer Look at Self-Supervised Lightweight Vision Transformers论文链接：https://arxiv.org/abs/2205.14443代码链...

原创 信工所14篇论文被顶级国际会议ACL 2023录用，一文速览！

ACL 2023 于 5 月 2 日公布了论文接收结果。中国科学院信息工程研究所第二研究室、第三研究室有 14 篇论文被 ACL 2023 录用。第 61 届 ACL（Annual Meeting of the Association for Computational Linguistics）计划于 2023 年 7 月 9 日 - 7 月 14 日在加拿大多伦多召开。ACL 年会是计算语言学和...

转载 博士申请 | 美国凯斯西储大学印宇老师招收人工智能全奖博士/硕士/实习生

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！凯斯西储大学凯斯西储大学全美排名42，计算机排名68（USNews），拥有非常良好的学术声誉（在国内知名度较低，但十分有实力，属于美国R1研究性大学。地处Ohio，Cleveland，环境优美，整个城市就是一个巨型公园，但也有一个不大不小的downtown，麻雀虽小五脏俱全。生...

转载 ICLR 2023 | 2D视觉或语言Foundation Model可以帮助3D表征学习吗？

论文标题：Autoencoders as Cross-Modal Teachers: Can Pretrained 2D Image Transformers Help 3D Representation Learning?论文链接：https://arxiv.org/abs/2212.08320代码链接：https://github.com/RunpeiDong/ACT引言在过去的几年里，随着 ...

转载 CVPR 2023 | 神经网络超体？新加坡国立LV Lab提出全新网络克隆技术

©作者 |王强来源|机器之心神经网络开发到 100% 会发生什么？神经网络的究极形态又是什么？何为网络超体？上述问题的答案可能可以在电影超体（Lucy）中找到。在电影中，随着女主角 Lucy 脑力的逐渐开发，她获得了以下能力：10%：能够控制身体的自主神经系统，提高身体协调能力和反应速度。30%：能够预测未来并预测人们的行动，提高洞察力和判断力。50%：能够通过感知周围环境的微小变化来预测未...

转载 AI对于生物学，早就不只是AlphaFold了……

2022年，Nature Medicine发布了题为“AI in health and medicine”的综述文章，表明人工智能正在重塑医学。不久，DeepMind官宣：AlphaFold2预测出2.14亿个蛋白质结构，几乎涵盖地球上所有已知蛋白质。近一年来，我们见证了AI在生物医学中的一次次突破。本文根据蛋白质结构、算法模型、临床数据三大热门领域，对近一年以来的43篇重要论文进行整理，并且选了...

转载 （待会删）yyds，付费搞来的，大家低调浏览！

转载 1到3个月发一篇顶刊顶会是怎么做到的？AIGC吗？

近期字节跳动张一鸣熬夜看OpenAI一系列论文的新闻频频上热搜，足以可见SCI论文的含金量以及大佬的重视度。同时我们也经常收到读者在后台的留言：『科研真是太难了，竞争压力大，想发国际核心期刊，拼命想选题，读文献，写论文，仍旧无法把论文写得又快又好，更别说顶刊顶会了！』一提到学术写作，即使是科研大神，也常常会有这样的烦恼：1、不知道什么是好的选题；2、看文献慢，大部分还看不懂；3、实验总是出bug又...

转载 CVPR 2023最佳论文候选出炉！武大、港中文、商汤等国内机构多篇入选

©作者 |编辑部来源|新智元刚刚，CVPR 2023放榜12篇获奖论文候选，武大、港中文、港科大、上海人工智能实验室、商汤、华为等国内机构赫然在列。今天，官方公布了12篇获奖论文候选。（占接受论文的0.51%，占提交论文的0.13%）根据官网上统计数据，本次CVPR一共接受论文9155篇，录用2359篇，接受率为25.8%。其中，235篇被评为Highlights。（占接受论文的10%，占提...

转载 北京内推 | 清华大学电子工程系机器学习课题组招聘科研助理

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！清华大学课题组负责人为姚权铭老师。本组围绕机器学习原理与应用开展研究工作，着眼解决人工智能领域基本理论和方法问题。目前关注于自动化机器学习、神经网络架构设计、元学习、小样本学习及其在 AI4Science 中关键科学应用问题。课题组主页：https://lars-group.g...

原创 最新开源！更擅长推理的LLaMA大模型，支持中文

©PaperWeekly 原创 ·作者 |李忠利研究方向 |自然语言处理跟大家介绍一下自己最近训练的 LLaMA 模型——BiLLa: ABilingualLLaMA with Enhanced Reasoning Ability.Github 地址：https://github.com/Neutralzz/BiLLaHuggingFace 模型：https://huggingfa...

原创 “为什么？是什么？怎么做？” — 关于AI安全性的几个问题

©PaperWeekly 原创 ·作者 |杨靖锋我在 2023 年 5 月 5 日开始写这篇文章的英文版，并在 2023 年 5 月 8 日完成了它。英文博客原文：https://jingfengyang.github.io/safetyTwitter原文：https://twitter.com/JingfengY/status/1656143046185201665这篇文章可能包含一些引发敏...

转载 CVPR 2023 | 移动传感器引导的跨时节六自由度视觉定位，准确且高效

©作者 |机器之心编辑部来源|机器之心本文介绍了一篇由国防科技大学刘煜教授团队和浙江大学周晓巍教授团队联合撰写的论文《Long-term Visual Localization with Mobile Sensors》，该论文已被计算机视觉与模式识别领域顶尖国际会议 CVPR 2023 录用。针对在时变的室外环境中难以视觉定位的问题，博士生颜深创新性地提出一种解决方案 SensLoc。Sen...

转载 深圳内推 | 腾讯AI Lab招聘​NLP算法（智能写作）研究实习生

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯AI Lab腾讯 AI Lab 是腾讯的企业级 AI 实验室，于 2016 年 4 月在深圳成立，团队由 100 余位来自世界知名院校的科学家，以及 300 多位经验丰富的应用工程师组成，并与世界顶级院校与机构合作，共同打造产学研用一体的 AI 生态。借助腾讯丰富应用场景、...

转载 火爆全球！影响超250万读者，Python入门圣经全新升级（文末送书 ）

人生苦短，我用 Python!什么？你没用过，也没开始学习，甚至没有认真了解过这门语言？那你一定这一秒就开始发力——下面让我们先简单看看 Python 有多火。权威编程语言排行榜 TIOBE，2022 和 2023 都是第一。知乎 Python 话题与 Python 入门话题关注度数据，妥妥的编程语言霸主。01为什么这么火？一方面是时势造英雄——人工智能时代呼啸而来，而 Python 是 AI ...

原创 ACL 2023长文 | 先计划再求解：提升大型语言模型的零样本链式推理

©PaperWeekly 原创 ·作者 |王磊单位 |新加坡管理大学研究方向 |自然语言处理论文标题：Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models收录会议：ACL 2023论文链接：https://arxiv.org/abs/2305.040...

转载 北京/上海内推 | 小红书社区搜索组招聘多模态/NLP算法实习生

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！小红书小红书-社区技术部-社区搜索组，主要提供query、笔记特征，辅助搜索/推荐等下游业务。多模态/NLP算法实习生部门：小红书-社区技术部-社区搜索组坐标：北京/上海均可，需要现场实习工作方向1. 短文本理解方向。对海量Query进行自动化的改写、实体抽取等，使得搜索结果更...

转载 第一篇论文太难了。。。

当代研究生内卷现状——每天在实验室熬到半夜鸡叫，but，该有的实验数据一个也没得。为了准备组会前一天呕心沥血搞ppt，but，老师的一句论文进度怎么样，瞬间颤抖。那个总是抓住空隙打游戏的学弟发了一篇一作二区，but，身为师哥还没有任何大作……而今，论文也开始卷起来了——还在为读不懂论文而头痛，就听说隔壁寝室的小A发了一篇SCI？！你甚至不清楚本专业可以发哪些期刊和会议，隔壁的学霸已经因为发了论文国...

转载 超越GPT-4！爆火InstructBLIP抢跑看图聊天，开源项目横扫多项SOTA

©作者 |桃子 拉燕来源|新智元碾压 GPT-4 识图能力的多模态生成模型来了。华人团队最新提出的 InstructBLIP 在多项任务上实现 SOTA。GPT-4看图聊天还没上线，就已经被超越了。近来，华人团队开源了多模态基础模型InstructBLIP，是从BLIP2模型微调而来的模型。BLIP家族中增加了一个新成员：InstructBLIP据介绍，InstructBLIP模型更擅长「看...

转载 博士申请 | 香港科技大学VisLab屈华民教授招收全奖博⼠/博后/RA

合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港科技大学香港科技大学可视化实验室（HKUST VisLab）由屈华民教授于2004年创立，致力于打造亚洲及世界一流的可视化研究中心。实验室一直在开展数据可视化和人机交互方面的前沿研究，以促进各种应用领域的数据探索和分析，包括可解释性AI、在线教育、城市计算、金融科技、社会科...

转载 初识滴滴交易策略之一：交易市场

初识系列前言滴滴作为一家共享出行公司，利用信息技术构建了实时的、智能的在线交易市场，在这个庞大运转的市场之中，滴滴秉承着用户价值至上的宗旨，不断通过技术提升来实现更高效的运转效率和更贴心的用户体验。为了使得大家能够了解在线交易市场及其技术挑战，开拓技术视野，增进技术交流，故分享本系列文章，完整介绍交易市场策略的各主要领域，分享已有探索经验，以飨读者。本系列文章，虽然涉及较多专业技术，但行文力求概略...

转载 ChatGPT的朋友们：大语言模型经典论文一次读到吐

©作者 | Ostrich单位 |阿里巴巴研究方向 |自然语言处理/搜索算法要说 2023 刷屏最多的词条，ChatGPT 可以说是无出其右。到最近的 GPT-4，技术的革新俨然已呈现破圈之势，从学术圈到工业界再到资本圈，同时也真切逐步影响到普通人的日常生活与工作。坦白来讲，对于大语言模型生成相关的工作，个人长期以来持保守态度，认为这个方向更多的是一种深度学习的理想追求。现在看小丑竟是我自己，...

转载 蒸馏也能Step-by-Step：新方法让小模型也能媲美2000倍体量大模型

©作者 |rome来源|机器之心大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步蒸馏（Distilling Step-by-Step）范式帮助模型训练。该方法在训练用于特定任务的小型模型方面优于 LLM，训练数据远少于传统的微调和蒸馏。他们的 770M T5 模型在一个基准任务上表现优于...

转载 GPT-4拿下最难数学推理数据集新SOTA，新型Prompting让大模型推理能力狂升

©作者 |机器之心编辑部来源|机器之心模拟人类推理过程，华为诺亚提出 Progressive-Hint Prompting (PHP) 引导大模型渐近正确答案。近期，华为联和港中文发表论文《Progressive-Hint Prompting Improves Reasoning in Large Language Models》，提出 Progressive-Hint Prompting ...

转载 张一鸣熬夜看论文，AI博士年薪500万，是什么有这么大的魅力？

近期字节跳动张一鸣熬夜看OpenAI一系列论文的新闻频频上热搜，足以可见SCI论文的含金量以及大佬的重视度。同时我们也经常收到读者在后台的留言：『科研真是太难了，竞争压力大，想发国际核心期刊，拼命读文献，写论文，仍旧无法把论文写得又快又好，更别说顶刊顶会了！』一提到学术写作，即使是科研大神，也常常会有这样的烦恼：1、不知道什么是好的选题；2、看文献慢，大部分还看不懂；3、实验总是出bug又找不到问...