qq_40206371的博客

混合专家模型主要由两个关键部分组成。

2022 neurips

2022 TPAMI。

在你选择了所有相关的CCS类别后，该工具会生成一个完整的CCS XML标记，你可以直接复制这段代码并粘贴到你的论文中相应的位置。在CCS工具中，可以通过浏览或搜索相关的关键词来找到与你的研究内容相匹配的主题。

KDD 每年有多次投稿周期。KDD 2025 将有两个截止时间：分别是 2024 年 8 月 1 日和 2025 年 2 月 1 日（全文提交截止时间在摘要提交截止后一周）。同时，KDD 会议论文集（Proceedings）将分两批出版。对于在 2024 年 8 月提交并被接收的论文，作者必须在版权转让表（rights form）中选择“提前出版”选项，才能将论文收录到第一批会议论文集中。本次会议将在加拿大多伦多召开，预期在 2025 年 8 月举办。

打乱会创建索引映射，可能会降低性能。如果需要恢复性能，可以调用。

原先的text和label的基础上，多了input_ids，token_type_ids和attention_mask三个key。

和。

参考了huggingface的教程。

1 ARR 介绍ARR 提供 评审服务 —— 仅限评审 —— 对于提交的论文。 评审不会针对特定会议/场所，但评审标准与传统会议的主会场长文或短文提交要求相同（如 ACL 或其他由 ACL 主办的重要会议）2提交论文进行 ARR 评审提交截止日期每两个月有一次提交截止日期 若在 截止日期后 48 小时 撤稿，论文将无法在 下一个提交周期 重新提交3 回应评审意见4接收最终评审意见并选择下一步5重新提交论文进行新一轮评审（可选）6

在浅层与深层中不同token信息流汇聚情况有所区别 浅层（1-11层）对于图像内容有显著的响应（与提示选项相关的图像区域高亮显示） 模型在理解提示中的上下文、问题和选项后，能过滤并专注于与提示相关的图像内容 在深层（12-32），系统token和用户token的信息流汇聚更为明显，而图像token的汇聚则相对较弱，甚至对输出token没有什么贡献 这些深层可能依赖于浅层收集的信息，并结合LLM的知识，降低了对图像直接关注的依赖。

2024 10月的arxiv。

GPTs and Hallucination

参考内容：Mila、麦吉尔等发布异配图学习手册：关于异配图学习的全部重点都在这里了

在模型架构设计中，更宽且更浅的神经网络拥有更好的记忆能力，而更深且更瘦的网络则呈现出更强的推理能力。

24年9月的arxiv。

定义 x 轴的多个区间范围，用于指定哪些部分显示，哪些部分被跳过。：定义 y 轴的多个区间范围，用于显示特定的 y 轴范围。：设置 y 轴的断裂间距，调整断裂之间的距离。：设置 x 轴的断裂间距，调整断裂之间的距离。：列表或元组的列表，例如。：列表或元组的列表，例如。

比如我training set 样本数是10000，batch size是100，一个epoch的时间是300秒。

使用gpustat之后，虽然显示除了gpu5之外别的都没有进程，但是GPU显存却被占用了。

ICLR 2024。