【研究周报】第3周

研究周期：3.13-3.19
内容产出：我的主页

1.论文阅读
本周回顾了一下前两周读的两篇文章《Data-Free Learning of Student Networks》和《Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion》并着重看了一下method和experiments。

其中《Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion》使用了较多的正则化，因此对l1&l2范式相关的知识进行了复习回顾。

推荐阅读：

• 深入理解L1,L2正则化
• L1L2详解

看了一下文章《Data-Free Learning of Student Networks》整体的代码github地址，并开始复现。整体逻辑为：首先训练教师网络（teacher-train.py），然后使用DAFL在mnist数据集上训练学生网络（DAFL-train.py），CIFAR-10 和CIFAR-100同理。刚开始做复现，遇到了一些环境问题，争取下周一解决，然后一周内完成实验部分。

2.其他学习

• 复习了一些机器学习经典算法，包括原理和推导，如LR,朴素贝叶斯。
• 每天刷4-5道力扣题。

3.下周计划

• 完成复现，撰写实验报告。
• 再看一遍《Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning》总觉得他不太好理解，看不透彻。
• 继续看代码。
• 保持学习节奏。