干货！针对动态变化数据的模型结构自动调整

于 2022-01-25 20:48:21 发布
阅读量1.6k 收藏 3
点赞数 1
文章标签： 人工智能 大数据 算法 python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AITIME_HY/article/details/122694658
版权
本文提出AdaXpert方法，针对数据量和类数量动态增加的场景，有效调整神经网络结构。通过引入体系结构调整器和自适应条件，避免过拟合和欠拟合，实现模型性能与计算效率的平衡。实验表明，AdaXpert在数据量增长和类别增加的场景下，均能实现更好的精度/计算效率权衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击蓝字

f74133562919ecf1a2c87a13c29cc88e.png

关注我们

AI TIME 欢迎每一位AI爱好者的加入！

在实际应用中，数据通常以不断增长的方式出现，其中数据量和类的数量可能会动态增加。这将给学习带来一个严峻的挑战：鉴于不断增加的数据量或类的数量，必须立即调整神经模型的能力，以获得有希望的性能。现有的方法要么忽略数据的增长性质，要么寻求为给定数据集独立搜索最佳体系结构，因此无法针对变化的数据及时调整体系结构。为了解决这一问题，我们提出了一种神经结构自适应方法，即Adaptation eXpert（AdaXpert），以有效地调整增长数据上以前的结构。具体来说，我们引入了一个体系结构调整器，根据以前的体系结构以及当前和以前的数据分布之间的不同程度，为每个数据快照生成合适的体系结构。此外，我们提出了一个适应条件，以确定调整的必要性，从而避免不必要和耗时的调整。在两种增长场景（增加数据量和类数）上的大量实验证明了该方法的有效性。

本期AI TIME PhD直播间我们邀请到华南理工大学软件学院博士生——牛帅程，为我们带来报告分享《深度描述聚类》。

81e3ec248292e3cf7e59be6f2e9f810b.png

牛帅程：

自2018年9月开始在华南理工大学软件学院攻读博士学位。导师为谭明奎教授，以及腾讯AI Lab的吴家祥和赵沛霖研究员。主要研究方向为神经网络结构搜索和迁移学习，并在相关领域会议和期刊发表论文多篇，包括ICML, CVPR, IJCAI,TIP, TKDE等。

01

 背   景 

数十亿的移动电话、监控摄像头和医疗成像设备每天都在继续收集新的数据，使得数据量和类的数量随着时间动态增加，那么如何将深度神经网络（DNN）应用到这种动态变化的数据场景呢？

首先，数据的动态变化对网络模型大小地选择带来了挑战&#x

最低0.47元/天 解锁文章
AITIME论道
关注
博客
CVPR 2025预讲会54位讲者相聚｜3场特邀报告+3个团队专场+5大主题方向
05-22 513
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。，华中科技大学本科生，上海AI Lab 科研实习生。添加"AI TIME小助手"，发送“CVPR”，将拉您进“AI TIME 交流群”！提出观点，表达想法，欢迎。
博客
模型效用定律：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-20 494
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾800场活动，超1000万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 233
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 226
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 219
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 220
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 219
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 193
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 大模型的长上下文自进化训练
05-18 139
目前，主流模型一般倾向于只使用非常少量的长文本数据来对齐模型（例如，LLaMA 3.1 的长文本后训练数据只有 1% 的比例）以适应实践中短文本占主流的场景，导致模型能力无法被很好地迁移到长文本场景中。上述长文本训练方法存在的问题是，所需的长文本后训练数据集通常需要人来标注，而人天然不擅长阅读长文本并给出足够的标注信息。长文本训练过程一般不采用 DPO 方法，因为 DPO 需要一个参考模型来约束模型输出，而参考模型本身往往并没有针对长文本优化，所以用于长文本场景时是不可靠的，可能会让模型走向错误的方向。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 289
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 276
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 242
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 230
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 224
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 234
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 216
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
ICLR‘25 | 真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！
05-16 142
4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。
博客
超越基准：迈向可泛化评估之路｜复旦大学曹艺馨老师开讲
05-15 522
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025结果出炉｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
CVPR 2025预讲会已邀50位讲者，讲者报名通道即将关闭
05-14 545
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。ICML 2025预讲会｜一作讲者已开启招募，欢迎新老朋友来预讲会相聚！AI TIME欢迎每一位AI爱好者的加入！提出观点，表达想法，欢迎。
博客
大模型逻辑推理能力最新综述：北大、清华、UvA、CMU等联合发布
05-13 386
下图展示了一类通用的提升大模型回答的逻辑一致性的方法框架，首先对每个问题生成多个候选回答，然后对不同问题的回答计算逻辑一致性的违背程度，最后优化求解为每个问题选择一个最优答案使逻辑一致性的违背程度降到最低。AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。” 这两个问题都回答 “是”，但对“喜鹊有翅膀吗？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值