干货！针对动态变化数据的模型结构自动调整

于 2022-01-25 20:48:21 发布
阅读量1.6k 收藏 3
点赞数 1
文章标签： 人工智能 大数据 算法 python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AITIME_HY/article/details/122694658
版权
本文提出AdaXpert方法，针对数据量和类数量动态增加的场景，有效调整神经网络结构。通过引入体系结构调整器和自适应条件，避免过拟合和欠拟合，实现模型性能与计算效率的平衡。实验表明，AdaXpert在数据量增长和类别增加的场景下，均能实现更好的精度/计算效率权衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击蓝字

f74133562919ecf1a2c87a13c29cc88e.png

关注我们

AI TIME 欢迎每一位AI爱好者的加入！

在实际应用中，数据通常以不断增长的方式出现，其中数据量和类的数量可能会动态增加。这将给学习带来一个严峻的挑战：鉴于不断增加的数据量或类的数量，必须立即调整神经模型的能力，以获得有希望的性能。现有的方法要么忽略数据的增长性质，要么寻求为给定数据集独立搜索最佳体系结构，因此无法针对变化的数据及时调整体系结构。为了解决这一问题，我们提出了一种神经结构自适应方法，即Adaptation eXpert（AdaXpert），以有效地调整增长数据上以前的结构。具体来说，我们引入了一个体系结构调整器，根据以前的体系结构以及当前和以前的数据分布之间的不同程度，为每个数据快照生成合适的体系结构。此外，我们提出了一个适应条件，以确定调整的必要性，从而避免不必要和耗时的调整。在两种增长场景（增加数据量和类数）上的大量实验证明了该方法的有效性。

本期AI TIME PhD直播间我们邀请到华南理工大学软件学院博士生——牛帅程，为我们带来报告分享《深度描述聚类》。

81e3ec248292e3cf7e59be6f2e9f810b.png

牛帅程：

自2018年9月开始在华南理工大学软件学院攻读博士学位。导师为谭明奎教授，以及腾讯AI Lab的吴家祥和赵沛霖研究员。主要研究方向为神经网络结构搜索和迁移学习，并在相关领域会议和期刊发表论文多篇，包括ICML, CVPR, IJCAI,TIP, TKDE等。

01

 背   景 

数十亿的移动电话、监控摄像头和医疗成像设备每天都在继续收集新的数据，使得数据量和类的数量随着时间动态增加，那么如何将深度神经网络（DNN）应用到这种动态变化的数据场景呢？

首先，数据的动态变化对网络模型大小地选择带来了挑战&#x

最低0.47元/天 解锁文章
AITIME论道
关注
博客
六年思辨不止，AI TIME生日快乐
05-29 72
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。六年里，我们追问智能的边界，探索人类与技术的共生之道。AI TIME，源自AI爱好者的共同提问。AI的尽头，是人类思想的镜像。AI，是工具，还是伙伴？
博客
今天10:30｜ CVPR 2025预讲会开启，全议程码住
05-27 191
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。，华中科技大学本科生，上海AI Lab 科研实习生。添加"AI TIME小助手"，发送“CVPR”，将拉您进“AI TIME 交流群”！提出观点，表达想法，欢迎。
博客
ACL’25 | 群体比较推理释放LLM-as-a-Judge 在评测中的scaling效果
05-25 62
此外，我们的研究证明，高质量的CoT推理不仅能够提升多个评测基准上的评测可靠性，还能提高CoT蒸馏的效率，同时拓展了基于群体评测方法的应用范围。当这些群体回复与候选回复。广泛的实验表明，我们的方法显著提高了评测的可靠性，在五个评测基准上平均提升了 6.7% 的准确率。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
本周大模型新动向：高效推理压缩、云协作多Agent框架、偏好对齐
05-25 597
终止延迟，即使在得出自信的答案后，推理仍在继续。本文评估了最先进的推理模型在提示中呈现的 6 种推理提示下的 CoT 真实性，发现：（1）在大多数设置和测试模型中，CoT 在至少 1% 的使用提示的示例中揭示了其对提示的使用，但揭示率通常低于 20%；AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
博客
CVPR 2025预讲会54位讲者相聚｜3场特邀报告+3个团队专场+5大主题方向
05-22 593
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。，华中科技大学本科生，上海AI Lab 科研实习生。添加"AI TIME小助手"，发送“CVPR”，将拉您进“AI TIME 交流群”！提出观点，表达想法，欢迎。
博客
模型效用定律：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-20 576
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 314
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 304
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 298
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 301
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 299
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 272
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 220
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 367
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 363
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 322
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 308
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 302
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 313
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 296
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值