NeurIPS 2024最佳论文一作Zekun Shi博士将做客直播间 | 12月20日15:00

于 2024-12-11 18:01:59 发布
阅读量1.3k 收藏 5
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AITIME_HY/article/details/144414289
版权

点击蓝字

5d32a66003a75db2cd42c7502a10c1e3.jpeg

关注我们

AI TIME欢迎每一位AI爱好者的加入！

55df5c4adf8b3220ee0adc1854221d2f.jpeg

今年，是NeurIPS第38届年会，于12月9日-15日在加拿大温哥华正式拉开帷幕。NeurIPS 2024共收到 15671 篇有效论文投稿，录用率为25.8%。

共有两篇论文获得最佳论文奖，其中一篇是由新加坡国立大学与 Sea AI Lab 研究者共同完成的《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》（随机泰勒导数估计器：任意微分算子的有效摊销），论文一作为 Zekun Shi。

我们邀请到他于北京时间2024年12月20日15:00来到直播间分享本篇最佳论文的工作。

AITIME

01

讲者信息

382f570d3daeb0b61a97ac5d094cd471.jpeg

AITIME

02

论文简介

论文核心介绍了一种名为Stochastic Taylor Derivative Estimator (STDE) 的高效算法，用于优化包含高维和高阶微分算子的神经网络损失函数，特别是在物理信息神经网络（PINNs）中。

研究展示了如何通过正确构造单变量高阶AD输入切线（input tangent），有效地对多元函数的任意阶导数张量进行任意收缩，这可用于有效地随机化任何微分算子。

当应用于PINNs时，与使用一阶AD进行随机化相比，本文方法提供了1000倍以上的速度提升和30倍以上的内存减少，而且现在可以在单个NVIDIA A100 GPU上，8分钟内解决100万维的偏微分方程（PDEs）。

这项工作开启在大规模问题中使用高阶微分算子的可能性。

论文链接：https://openreview.net/forum?id=J2wI2rCG2u

代码链接：https://github.com/sail-sg/stde

AITIME

03

观看地址

4f23c13d37454331d96036927a6ce3dd.jpeg

进入Bilibili直播间观看，

提问有可能会被选中由讲者回答！

欢迎关注AITIME论道 Bilibili 观看更多讲者回放！

AITIME

04

加入群聊

e5425acf75dd377d149e0c42f247cdd9.png

添加"AI Timer小助手"，发送“NIPS”，

将拉您进“AI TIME 交流群”！

往期精彩文章推荐

360ed2669081311b0cce32c87b99661d.png

NeurIPS 2024 | 从“误判”到“利器”：AI幻觉在图像分割中的应用

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。

 cb2a32e0f3820d59b0433706f6c73be1.png

我知道你 

在看

提出观点，表达想法，欢迎 

留言

2e7dc5d7e46649cd08ef42cca41abc68.gif

点击 阅读原文 进入直播间！

AITIME论道
关注
博客
超越基准：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-15 47
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
CVPR 2025预讲会已邀50位讲者，讲者报名通道即将关闭
05-14 127
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025预讲会｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
大模型逻辑推理能力最新综述：北大、清华、UvA、CMU等联合发布
05-13 58
下图展示了一类通用的提升大模型回答的逻辑一致性的方法框架，首先对每个问题生成多个候选回答，然后对不同问题的回答计算逻辑一致性的违背程度，最后优化求解为每个问题选择一个最优答案使逻辑一致性的违背程度降到最低。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。” 这两个问题都回答 “是”，但对“喜鹊有翅膀吗？
博客
ICML 2025预讲会一作讲者开启招募啦！
05-12 414
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。今年，ICML将于7月13日-19日，在加拿大温哥华「温哥华会议中心」召开。4. 活动直播与论文解读文章相结合，内容沉淀，深度且持续地宣传。提出观点，表达想法，欢迎。
博客
本周大模型新动向：自动幻觉检测、多智能体强化学习、多模态数据压缩
05-10 596
受经典Gold-Angluin语言识别框架的启发，本文研究了一种算法是否能够在训练时仅使用来自一个未知目标语言K的样本（K是从可数语言集合L中选择的），并且可以访问LLM的情况下，可靠地判断LLM的输出是否正确或构成幻觉。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。提出观点，表达想法，欢迎。
博客
5.46亿个三元组数据集！蛋白质分子研究新范式
05-08 311
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。一年多以来，智谱BigModel 平台上涌现出的一批又一批的学者们，将智谱 GLM 模型应用于计算机科学、大数据与统计、材料化学、医学、法律、金融、传媒、社会学、心理学多样化的科研和教学场景中，驱动研究范式和研究工具新一轮的变革。
博客
多邻国爆火背后的 AI 教育逻辑：如何让学习像刷短视频一样 “上瘾”？｜Z Next 4月17日直播摘要
05-06 429
多邻国的 AI 通过BirdBrain 模型实现个性化出题（100% AI 生成题目）和自适应学习，例如根据用户水平动态调整对话难度的 “Video Call with Lily” 功能，让技术自然融入学习流程，用户无需感知 “AI 的存在”，却能获得精准训练。但是有一个思路是，现在的模型能力，对于语言类教育完全够用。AI 表现优异，可通过隐性化设计（如多邻国的自适应出题）提升学习体验，即使出现 “幻觉”（如语法错误），对初级学习者影响微乎其微，因用户核心需求是 “无压力练习” 而非 “绝对正确”。
博客
追寻AGI之梦 劳动创造美
05-01 302
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。CVPR 2025一作讲者招募中，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
学术助研招募 | 清华大学行为经济学与智能决策研究团队
04-30 316
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。CVPR 2025一作讲者招募中，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
线下活动报名 | 成都大模型产业交流会
04-28 421
在历史的长河中，蜀地以其深厚的文化底蕴和独特的地域特色，孕育了无数的创新与智慧。会议将搭建一个交流思想、分享经验、探索合作的平台，开启通往未来的创新之门，推动区域人工智能产业的创新发展，促进产业生态深度融合，助力成都千年蜀韵在科技的光辉下焕发新的活力。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
本周大模型新动向：可解释性压缩、视频推理链、启发式奖励
04-27 1005
然而，现有的基于图的RAG方法主要关注粗粒度信息摘要，缺乏对特定查询的感知能力，且检索到的内容缺乏足够的上下文信息来生成全面的回答。实验结果表明，本文提出的方法，与显着减少的模型参数，通过一步采样，实现了较大的模型相当的性能。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。CVPR 2025一作讲者。
博客
ICLR 2025 杰出论文 | 模型编辑：必要性、短板与破局法
04-25 972
（笔者展望，在LLM时代，零空间投影大有可为，例如：在保护LLM某种能力不受影响的同时，增强/削弱LLM在目标任务上的表现。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。原因也很简单，如上所述，模型编辑这个伏魔圈，它的使命，就是撑到下一次微调，或者说版本更迭的到来即可。但是，这并不代表判“模型编辑”死刑了。
博客
ICLR 2025 杰出论文 | Learning Dynamics of LLM Finetuning
04-24 1079
我们之前了解了SFT的情况，而DPO算法虽然看起来复杂，但通过链式法则进行导数计算后，最终的梯度仍然在这一项上，某些变种算法也如此。例如，中间部分显示的都是由GPT生成的内容，在学习这些序列时，它们之间的影响很大，但在语义上却毫无关系。的情况，指的是答非所问的序列。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 1007
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 957
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 906
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 345
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练
04-23 274
此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子。
博客
OlymMATH：奥林匹克级双语数学基准，R1 正确率仅为 21.2%
04-22 1159
近年来，大型语言模型（LLMs）在数学推理任务上取得了显著进展。在 MATH-500 上，DeepSeek-R1 和 Qwen2.5-32B-R1D 的准确率非常接近（97.3% vs 94.3%），但在 OlymMATH-EN-HARD 上，两者的准确率分别下降至 21.2% 和 13.6%，表明 OlymMATH 在区分不同模型的推理能力方面更具优势。实验结果表明，从思维链长度的分布来看，OlymMATH-EASY 与 AIME 具有类似的难度，而 OlymMATH-HARD 则包含更多的挑战性题目。
博客
ICLR 2025 | 生成图像检测新突破：“幻像熔炉” & “超级侦探” 精彩演绎
04-21 1188
与之前的基准数据集不同，团队从多个流行的 AI 绘画社区（如 ArtStation、Civitai 和 Liblib）收集了超过 150K 的 AI 生成图像，这些图像均由广泛的用户创作，使用了多种先进的生成模型（如 Midjourney、DALL·E 3 和 Stable Diffusion 等）。本论文通过对现有 AI 生成图像检测方法的重新审视，提出了一个新的问题设定，构建了更具挑战性的 Chameleon 数据集，并设计了一个融合多专家特征的检测器 AIDE。最后通过MLP网络输出分类结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值