12-机器学习进阶-终身学习

机器一直学

之前的内容，保留学过的
下一个任务，有迁移学习，有利于下一个任务
模型能否自动扩展，一个固定的模型参数大小一致，所蕴含的知识也是有上限的

第一个比第二个难，所以学了任务1可以较好的应用在任务2，反过来未必

后面再联合在一块学习，单独学完一个任务在学另外一个任务还是有风险的，最好的方式就是把数据柔和在一块，一起训练

多任务学习可以优化终身学习的事情，但是资料存储空间有限，再一个是训练效率变低

更改损失函数，就可以做任务优化，之前学过的重要的参数尽可能保持不变，通过参数b控制，可以类比之前的正则化
但是比之前的L1/L2正则更通用，L1/2是相对0vector的距离，并且前面没有权重参数，这个是相比上一个任务的距离，并且么个维度的参数都有权重

EWC，看loss的变化

通过二阶导数，判断梯度的变化强度。变化不大的可以，说明他的变化对loss影响不大，所以给的权重可以小
变化大的，说明他的变化对loss影响大，给的权重要大

相比正则化可以更灵活调整，每个参数都可以根据实际情况调整

通生产模型，来减小存储空间，但是生成比如高清影像还是有难度。模型的存储大小，相比数据还是小很多的

除了不忘记之前学过的任务，也可以让后面的任务做的更好，这就是终身学习
迁移学习只是让后面的任务更好，不会回过去看前面的任务是否有影响，终身学习是包含迁移学习的

通过矩阵来评估，准确率，正向迁移学习，反向迁移反过去看对之前任务的影响

根据前面的任务和后面的任务，觉定当前的梯度更新方向，可以通过向量的角度方法，取中间的更新方向

不同任务的学习顺序也会有很大的影响和关系，所以先训练哪个任务，后训练哪个任务也是很有讲究的。一般先训练难的任务，后训练简单的任务，对简单的任务会有提升。



让model涨宽分方法，既不能改变之前的任务效果，有能扩容，根据实际情况扩容，不只是单纯的根据任务扩容，若果那样，那跟存储数据差别不大了。
另外模型的大小，代表了存储的知识量，假如数据很多，但是模型过小，也是不能融入更多的知识的。