AI_Conf的博客

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

在受到人类反馈的强化学习（RLHF）成功启发下，作者研究了多种从反馈中学习的算法（包括专家迭代、近端策略优化（PPO）和基于回报的强化学习），以改进语言模型的推理能力。文中研究了模型在稀疏和密集奖励下，如何通过启发式方法和通过学习得到的奖励模型进行学习。此外，研究还从不同大小的模型和初始化开始，包括有监督的微调（SFT）数据和没有SFT数据的情况。

本周精选了10篇LLM领域的优秀论文，来自Meta AI、北京大学、清华大学等机构。

3月ChatGPT相关热门论文合集！

机器人发展的趋势是人工智能化，深度学习是智能机器人的前沿技术，也是机器学习领域的新课题。

持续更新中

在近期的一项研究中，斯坦福大学的一个研究小组提出了时间控制 (TC)，这种语言模型通过潜在的随机过程进行隐式计划，并生成与该潜在计划一致的文本，以提高长文本生成的性能。我们一起来了解一下其中的文本生成：文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。国内外已经有诸如Automated Insights、Narrative Science以及“小南”机器人和“小明”机器人等文本生成系统投入使用。这些系统根据格式化数据或自然语言文本生成新闻、财报或者其他解释性文本。AMiner为您准备了【.

自监督学习本质上是一种无监督学习的方法，通常会设置一个“Pretext tasks”，根据数据的一些特点，构造Pesdeo Labels来训练网络模型。通过自监督得到的模型，可以作为其他学习任务的预训练模型，为其提供更好的训练初始区域。以下论文供大家参考学习：1.Self-Supervised Visual Feature Learning With Deep Neural Networks: A Survey本文广泛回顾了基于深度学习的自监督图像或视频中的一般视觉特征学习方法，总结并列出了一组有希.

悟道2.0参数量达到1.75万亿，创下全球最大预训练语言模型记录。"悟道"超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。以下论文供大家参考学习：1.BaGuaLu: Targeting Brain Scale Pretrained Models with over 37 Million Cores在HPC系统上部署AI应用还存在差距，需要基于特定硬件特性的应用和系统协同设计。为此，本文提出了BaGuaLu1，这是第一个在整个百亿亿次级超.

【半监督学习】主题论文推荐半监督学习是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。以下文章供大家参考：1.Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning.下载PDF：https://www.aminer.cn/pub/599c7965601a1

本期周刊，我们选择了10篇预训练相关的论文，涉及深度模型、提示学习、预训练应用、视觉理解、模型微调、编码器训练、可控生成、词表级语言模型、医疗文本建模、数据质量提升的探索。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍点云表示、文本生成方面的一些最新内容。

文章转载｜智源社区 本期贡献者｜李明、刘青、小胖关于周刊强化学习...

文章转载｜智源社区关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第10期《因果学习周刊》。本期周刊总结了刚刚放榜的ICLR22中涉及到的一些因果结构学习的文章，论文整体价值较高...

文章转载｜智源社区 本期贡献者｜申德周 翟珂 吴新刚关于周刊本期周刊，我们选择了12篇预训...

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第28期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐和研究综述等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如鲁棒强化学习、强化学习在靠泊系统及基金强权的应用、深度强化学习应用于推荐系统、离线深度强化学习及多智能体强化学习

关于周刊本期周刊，我们选择了9篇预训练相关的论文，涉及文本更正、模型适配、实体标记、视频理解、三维建模、行人识别、医学实体识别、分子分布和目标检测的探索。此外，在研究动态方面，我们选择了1篇预训练资讯，将介绍大语言模型方面的一些最新内容。最后，在资源推荐方面，我们选择了1篇预训练资源，将介绍生物医学实验方面的一些最新资源。本期贡献者：申德周 翟珂 吴新刚文章来源：智源社区论文推荐标题：伊利诺伊大学、微软|COCO-LM: Correcting and Contrasting Text Sequen

你还在为了找不到论文而苦恼吗？你还在担心自己跟不上研究领域的热点嘛？你还在害怕自己和领域大牛错过吗？ 不要犹豫，来试试这款新上线的小程序吧，排队时、地铁上，不限使用场景，随时随地掌握最新科研咨询，让你的科研生涯从此走上人生同组巅峰。 Aminer订阅，你的科研得力助手！科技情报大数据挖掘与服务系统平台 AMiner，是由清华大学计算机系唐杰教授团队建立，具有完全自主知识产权的新一代科技情报分析与挖掘平台。AMiner 订阅小程序，同网页版的订阅模块功能一样齐全，享有 Aminer 全部的数据库，可以通

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第27期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如深度强化学习、非策略强化学习、基于通用目标的强化学习、基于协作深度强化学习、贝叶斯多智能体强化学习及人机协作强化学习相关的

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第6期《因果学习周刊》。现如今，推荐系统在工业界得到了广泛的应用并带来了丰厚的利润，有关推荐系统的研究也具有十分深远的意义与巨大的实用价值，而如何产生更加符合用户真实兴趣的推荐也成为了重要的问题。为了解决现有推荐系统中广泛存在的以流行度偏差(Popularity Bias)为代表的数据偏差问题，许多研究者将因果推断中的方法引入到推荐系统的设计中，来抵

关于周刊本期周刊，我们选择了10篇预训练相关的论文，涉及图像处理、图像屏蔽编码、推荐系统、语言模型解释、多模态表征、多语言建模、推理优化、细胞抗原预测、蛋白结构理解和化学反应的探索。此外，在资源分享方面，我们选择了2篇预训练资源，将介绍视频理解和生物图像处理方面的一些最新内容。本期贡献者：申德周 翟珂 吴新刚文章来源：智源社区论文推荐标题：微软｜Swin Transformer V2: Scaling Up Capacity and Resolution（Swin Transformer V2：扩

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第26期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐和新工具、数据集等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如目标条件强化学习、基人工决策模型强化学习、深度强化学习在恶意软件中的应用、无模型风险敏感强化学习、迁移强化

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第4期《因果学习周刊》。发现一组变量之间的因果结构是因果学习中的一个基本问题，旨在理解数据生成的因果机制。在各种科学和工业场景中，这也是一项至关重要的任务，在生物学、卫生保健和经济学等许多领域有着重要的应用，对于算法可解释性、稳定性和公平性的研究也有着重要的作用。在因果发现中，学习到的因果图的形式为有向无环图(DAG)，一种有效的方法是进行随机对照实

关于周刊本期周刊，我们选择了11篇预训练相关的论文，涉及模型训练、图像编码、气候文本、对比学习、文本生成评估、小样本学习、决策推理、胚胎突变预测、蛋白质分析、数据集检测和模型可解释性的探索。此外，在研究动态方面，我们选择了1篇预训练资讯，将介绍大模型综述方面的一些最新内容。（本期贡献者：申德周 翟珂 吴新刚）文章来源：智源社区论文推荐标题：阿里｜M6-10T: A SHARING-DELINKING PARADIGM FOR EFFICIENT MULTI-TRILLION PARAMETER P

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第5期《因果学习周刊》。本期周刊承接上期中关于因果发现(Causal Discovery)的介绍，总结了最新放榜的NeurIPS 2021会议接收论文中与因果发现相关的文章，代表了因果发现领域最前沿的关注方向与最新进展，也提出了一些新的问题设定与全新算法，希望给同领域或相似领域的研究者带来帮助和启发。本期贡献者：刘家硕文章来源：智源社区论文推荐

最新注意力机制综述，由清华大学计算机图形学团队和南开大学程明明教授团队、卡迪夫大学Ralph R. Martin教授合作，系统地介绍了注意力机制在计算机视觉领域中相关工作，论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段：将深度神经网络与注意力机制相结合，代表性方法为RAM明确预测判别性输入特征，代表性方法为STN隐性且自适应地预测潜在的关键特征，代表方法为SENet自注意力机制论文链接：Attention Mechanisms in Computer Vision:

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第25期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐和新工具、数据集等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如分层强化学习、基准偏好的强化学习、基于深度强化学习的机器人控制、无模型风险敏感强化学习、安全强化学习相关的

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第3期《因果学习周刊》。本期周刊推荐的8篇论文，延续了第1期周刊中关于解决分布外泛化问题(Out-of-Distribution Generalization)的不变学习方法的介绍，包含了不变学习方法最新的进展。这类方法提出了从数据中学习具有因果不变性质的表征或模型，使得模型对于分布偏移具有很好的抵抗作用，对于机器学习模型走向应用，特别是高风险领域，

论文链接： https://www.aminer.cn/pub/6178c43b5244ab9dcbb2b674?f=cs小目标在许多现实世界的应用中无处不在，包括驾驶辅助、大规模监控和海上救援。尽管由于深度神经网络的发展，目标检测取得了显著的进展，但大多数都是用于检测正常大小的目标。而小目标(AI-TOD数据集中小于像素)往往表现出极其有限的外观信息，增加了识别特征的学习难度，导致小目标检测失败的案例非常多。小目标检测(TOD)的研究进展主要集中在改进特征识别方面。为了提高小目标和相应特征的分辨率，对

论文链接： https://www.aminer.cn/pub/61850ac75244ab9dcb7ac232?f=csMeta 提出的单个多语言模型，首次超过最佳双语模型，赢得了著名的 WMT 竞赛。作为分子几何学函数的分子电子的量子力学能量，产生了用于原子核运动的有效势能面。当有 d 个核自由度时，势能面（PES）是 d 维的。在所谓的波恩-奥本海默（BO）近似中，电子自由度和核自由度是分开处理的。当两个 PES 接触时，BO 近似不再有效。锥形交叉点是这种势能简并的区域，形成一个（d – 2）

论文链接：https://www.aminer.cn/pub/6111f7de5244ab9dcb065084?f=csMeta 提出的单个多语言模型，首次超过最佳双语模型，赢得了著名的 WMT 竞赛。机器翻译（MT）领域的最终目标是构建一个通用的翻译系统，以帮助用户获取信息并更好地相互联系。但是 MT 领域需要解决实际应用中遇到的基本局限性，未来才能更好的使用。如今，大多数 MT 系统使用双语模型组，这通常需要为每个语言对和任务提供大量标记示例。不幸的是，这种方法对于训练数据很少的语言（例如冰岛语、

论文链接： https://www.aminer.cn/pub/6178c43c5244ab9dcbb2b868?f=cs谷歌、OpenAI和华沙大学的一个团队提出了一种新的用于语言建模的高效Transformer架构Hourglass，在ImageNet32上达到新的SOTA，证明拥有一个明确的分层结构是Transformer能有效处理长序列的关键。Hourglass在给定相同计算量和存储量的情况下，可以产生比Transformer更好的结果。>>加入极市CV技术交流群，走在计算机视觉的最前

论文链接： https://www.aminer.cn/pub/5ecf8d2391e01149f850f4a5?f=cs目前面向异质图的图卷积神经网络普遍存在两个重要的不足：（1）大部分已有工作依赖用户人工输入一系列任务相关的元路径（Meta-path），这对于没有专业知识的用户来说是困难的。换句话说，已有方法无法有效地、灵活地从所有可能的元路径中自动挖掘出针对某个任务的最优元路径，这阻碍了模型的有效性和可解释性；（2）大部分已有方法在执行图卷积之前都需要执行额外的、耗时的预处理操作，这显著增加了模型的