一觉醒来 AI科技圈发生的大小事儿 05月04日

📳CVPR 2024 Highlight | 基于单曝光压缩成像，不依赖生成模型也能从单张图像中重建三维场景

本文介绍了一种基于单曝光压缩成像（SCI）系统和神经辐射场（NeRF）的三维场景拍摄与重建方法，实现了不依赖任何生成式模型的端到端单张图像重建3D场景。通过改进NeRF训练机制，利用SCI图像中的3D信息，成功还原了场景并渲染高质量图像。实验结果表明该方法在3D场景重建和SCI图像/视频重建任务上表现优异，具有广阔的应用前景。

🔗

📳小模型性能饱和、表现不佳，根源是因为Softmax?

小语言模型出现是为了弥补大语言模型训练成本高昂的缺点，但也存在饱和现象，原因是隐藏维度与目标上下文概率分布的不匹配，导致线性预测头性能下降。奇异值分布饱和现象与性能饱和相关，小型模型奇异值分布逐渐变均匀后突然退化。线性头部秩低于1000时性能下降，对于小隐藏维度模型可能成为性能瓶颈。研究发现语言模型的固有维度与性能之间存在联系，理论上分析了上下文分布固有维度与性能瓶颈之间的关系。

🔗

📳2023 IBM博士生奖学金华人占六成：Vicuna作者吴章昊、清华特奖得主高天宇入选

IBM 2023年博士生奖学金计划揭晓，共有10位年轻学者获奖，其中6位为华人。获奖学者涉及人工智能、混合云技术、量子计算等领域。傅泳淦在提高AI算法效率与鲁棒性方面有所贡献；高天宇专注于自然语言处理与机器学习，研究大型语言模型；Grace Guo致力于可解释AI和因果推断的视觉分析工具；Lixu Wang研究负责任的机器学习模型，保护数据隐私；吴章昊在云端Sky Computing领域开发框架SkyPilot；Lijun Zhang专注于多任务学习和扩散模型。

🔗