continual learning

关注持续学习，终身学习和永动学习。

 

一、持续学习（https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/）

持续学习通过任务执行结果（参数学习）的增量记忆（模拟大脑），将知识应用于新的任务中。大脑的记忆分为缓慢记忆和突出强化，重要任务的神经元连接不会被覆盖。同理，在神经网络中，在学习任务之后，我们计算每个连接对于该任务的重要性。当我们学习一个新的任务时，每一个连接都按照器重要程度被保护起来，以免对其进行修改。因此有可能学习新的任务，而不必重写前面任务中学到的内容，也不会产生显着的计算成本。用数学的术语来说，我们可以把在新任务中对每个连接所附加的保护看作是由一个弹簧连接到旧的保护值，其刚度与连接的重要性成正比。

 

二、终身学习通过高效地转化和利用已经学过的知识来完成新的任务，并且要最大程度降低突发性遗忘带来的问题。永动学习每次迭代处理一个任务集合，随着这个任务集合的不断变大，处理结果的质量每次迭代后越来越好。

http://blog.csdn.net/john159151/article/details/53368585

终身机器学习或LML系统可以从一个或多个领域学习许多任务。 他们高效而有效地保留了他们学到的知识，并利用这些知识更有效地学习新的任务。

 

①知识的存储； 

②对知识选择性的应用到新的任务中； 

③系统的方法对于知识进行高效且有效地获取和使用；

终身机器学习出现的背景可以概括为以下两个方面：第一，随着信息技术的进步，各种数据呈爆炸式增长。第二，传统机器学习算法对大数据环境下的应用问题很多已不再适用，这是因为传统的机器学习算法大多只是关注于小样本范围内的分类等工作，对大数据环境缺乏适应能力。在这样的背景下，终身机器学习应运而生。终身机器学习就是模仿人类学习过程提出的。首先人类对外界环境保持感知，从而对感兴趣的信息保持关注；之后，在大脑的海马系统上，新的知识在以往知识的基础上被快速建立起来；之后经过长时间的处理，在大脑皮质区形成较难遗忘的长时记忆。

关于终身机器学习的定义，学术界尚未形成统一的结论，但经过我的总结发现，一般都遵循以下四个要点：

1.  维护可增长的知识库 2.按照一定顺序学习 3.多个任务 4.知识的正向迁移

关于终身机器学习四种经典的算法，按照时间先后排序，这几个算法里面知识的迁移和整合往往是最重要的部分： 基于解释的神经网络模型EBNN；多任务人工神经网络MTLNN； 相关多任务学习csMTL：高效终身机器学习ELLA等。

对未来的展望主要体现在以下三个方面：

1.  可迁移知识表示的研究，尤其是适用于任务类别数大且不一定完全相关的情况的知识表示

2.  如何处理数据多源异构问题，这里指的是针对来自不同的数据采集源，分布不同的

异构数据

3.  结合其他先进技术,如深度学习、知识图谱等，旨在提高特征学习性能和隐含因素捕捉能力以及对知识的组织和利用能力

 

三、永动学习：本文构建出一个NELL（never-ending language learner）的framework，主要能够从web中永不停地抽取信息，构建Knowledge base，然后使用知识不断提升之后task的效果。最后经过67天的实验，NELL抽取出了242000+个beliefs，准确率是74%。

1、NELL的Knowledge包括两种： 
①categories：由名词短语组成的，如cities, companies, and sports teams； 
②relations：一对名词短语之间的关系，如hasOfficesIn（organization, location）；

2、NELL framework： 
 
①CPL（Coupled Pattern Learner）：使用名词短语与上下文模式（“may or of X” and “X plays for Y ”）的共现统计关系进行抽取categories和relations； 
②CSEAL（Coupled SEAL）：对categories和relations进行query互联网的内容，看是否有互斥的relation，用于过滤抽取到的categories和relations； 
③CMC（Coupled Morphological Classifier）：对每个category建立一个binary L2-regularized logistic regression models，用于对名词短语的分类，确定是否为categories； 
④RL（Rule Learner）：用于学习rules，学习到的rules用于推断新的关系实例； 
⑤KI（Knowledge Integrator）：使candidate facts提升为beliefs，包括两种策略，(i)上面的4个components中有一个的后验概率特别高（>0.9）；或者(ii)有多个components的后验概率都比较高； 
⑥belief与fact的区别：belief是高置信度的fact，通过人工评测，存在时效性的fact，如coach of the team，在这里也可以转化为belief，没有排除时效性的限制； 
⑦Knowledge base的表示：NoSQL的多个key-value[1]； 

 

增强学习的核心任务是学习一个策略函数，它以最大化某长远收益为目标，建立一个观察值到输出行为的映射关系。在推荐系统中以增加销售量为目标，建立一个用户访问网页请求到显示某广告动作的映射。增强学习算法根据用户动作对环境的影响变化来更新模型策略，如果由于环境的变化又导致了收益的变化，它也会相应地更新模型策略。

 

 

https://deepmind.com/blog/deepmind-ai-reduces-google-data-centre-cooling-bill-40/

 

google 利用DeepMind团队的机器学习算法，实现了对能耗的40%的降低。这出于对计算集群的降温的需求，需要用到空调，冷气等。问题是，这些机器很多，怎样规划使用方案；根据操作环境（天气等）调整；不同的中心具有不同的架构——所以需要用到机器学习。

 

Using a system of neural networks trained on different operating scenarios and parameters within our data centres, we created a more efficient and adaptive framework to understand data centre dynamics and optimize efficiency.

（神经网络系统，利用不同的操作场景和参数进行训练，得到更高效和适应性架构）

 

利用传感器获得实验数据（温度、电力，制冷速度等），训练集成的神经网络。目标是提高能源效率

Since our objective was to improve data centre energy efficiency, we trained the neural networks on the average future PUE (Power Usage Effectiveness), which is defined as the ratio of the total building energy usage to the IT energy usage. We then trained two additional ensembles of deep neural networks to predict the future temperature and pressure of the data centre over the next hour. The purpose of these predictions is to simulate the recommended actions from the PUE model, to ensure that we do not go beyond any operating constraints.

目标是提高数据中心的能源效率（利用率），所以训练神经网络可以预测为了的能源利用效率；然后两个集成网络，分别预测数据中心未来的温度变化和压力。目的是模拟PUE中的推荐行为。可以指导操作，而且不会超出限制。

 

由于该算法是理解复杂变化的通用框架，因此我们计划在未来几个月内将此应用于数据中心环境中的其他挑战。

 

总结：确定输入和输出（目标函数），限制条件，逼近目标