机器学习——终身学习作业

目录

介绍

• 避免灾难性遗忘
  
• 有很多的解决办法
  
• 样例中的方法

数据集

• 置换的MNIST
• 不同的任务

例子代码

• baseline，在不同的模型上训练

Baseline

• 连续的并行化训练，流水线方式

EWC

• "Elastic Weight Consolidation (EWC)"是一种用于解决持续学习中灾难性遗忘问题的方法。在EWC中，Guardiance权重是通过calculate_importance函数生成的，它用于保护先前学习到的重要知识，以防止新知识对其造成影响。
• EWC方法通常需要使用标签，因为它依赖于先前任务的权重信息和参数重要性。通过跟踪类ewc和其calculate_importance函数，可以更好地理解EWC方法如何工作以及如何生成Guardiance权重。
• 可以查看论文链接 https://arxiv.org/pdf/1612.00796.pdf 以获取更多关于EWC方法的详细信息。

MAS

• "Memory Aware Synapse (MAS)"是一种与持续学习相关的方法，旨在解决灾难性遗忘问题。在MAS中，生成Guardiance权重的方法可能涉及calculate_importance函数，该函数用于确定先前任务的参数重要性，以便在学习新任务时保护这些参数。
• MAS方法通常需要使用标签，因为它依赖于先前任务的参数信息和重要性。通过跟踪类mas和其calculate_importance函数，您可以更好地了解MAS方法如何生成Guardiance权重以及如何应用于持续学习场景中。
• 可以查看论文链接 https://arxiv.org/abs/1711.09601 以获取有关MAS方法的更多详细信息。

SI

• "Synaptic Intelligence (SI)"是一种用于持续学习的方法，旨在解决灾难性遗忘问题。在SI中，生成Guardiance权重可能涉及累积每次更新步骤中的损失变化，这有助于确定哪些参数对先前任务的学习至关重要，并对其进行保护。
• 通常情况下，SI方法可能需要使用标签，因为它依赖于损失变化的累积来确定参数的重要性，这需要有标签的任务数据来计算损失。
• 可以查看论文链接 https://arxiv.org/abs/1703.04200 以获取有关SI方法的更多详细信息
  
  
  

RWalk

• "Remanian Walk (RWalk)"是一种持续学习方法，它旨在解决灾难性遗忘问题。要了解RWalk方法，您需要追踪rwalk类及其update函数，这些函数通常用于更新模型参数以适应新任务而尽量减少对先前任务的影响。
• 通常情况下，RWalk方法可能需要使用标签，因为它依赖于任务数据和标签来计算损失并更新参数。标签可以帮助确定模型在学习新任务时应该保留哪些知识，并对先前任务的影响进行控制。
• 可以查看论文链接 https://arxiv.org/abs/1801.10112 以获取有关RWalk方法的更多详细信息。如果您对持续学习和相关方法感兴趣，可以阅读该论文以深入了解RWalk方法的工作原理和实施细节。

SCP

• SCP的主要思想是提出基于分布的距离，以防止模型快速陷入不妥协状态，并避免高估参数的重要性。在这种情况下，不妥协指的是模型不愿意学习新任务，而是坚持保持对旧任务的表现。通过引入基于分布的距禂，SCP方法旨在确保模型在持续学习过程中能够平衡新任务学习和旧任务保持的效果，避免过度侧重于新任务导致旧任务性能下降的情况。SCP方法旨在提高模型的持续学习能力，并保持对先前任务的稳定性和表现。