浅谈“从神经网络——迁移学习引发的一系列的思考”

神经网络——迁移学习

有很长一段时间我是不太理解迁移学习的，因为感觉很莫名其妙。

我们来看一下他的操作方式：

1：对于训练集D1，构建神经网络A1，并进行训练。完成后，将A1的最后一层输出单元拿掉，得到A1’

2：对于训练集D2，我们直接把前面训练好的A1’拿过来（训练好的参数直接固定），再添上几层神经网络节点（子网络B），我们

得到神经网络A2。往往在A1’之后添加进去的网络规模较小，所以模型参数较小，所以训练集D2不需要很大就可以得到一个性能跟

A1差不多的神经网络A2。

备注：当D1和D2这两个训练集是看上去风马牛不相及时，比如D1都是人脸，D2全是狗脸。你再来看以上的操作就会觉得莫名其妙，当得到的网络性能的确不错时，又会感到好神奇。接下来就是我的一系列思考

首先，我们来谈谈神经网络。现在都是讲深度学习，就是神经网络的层数要足够多。有什么好处呢？每一层神经网络都是对前面那 一层神经网络层得到的某种“概念”（这种概念只能是数学意义上的或者是哲学意义上的，我们很难用现实中的一段文字明确的描述它）的再一次抽象和理解上的提升。任何事物在低层面的时候，各自的特点会特别突出，掩盖了他们本质上的相似性。但是，当你从哲学角度去思考这个世界时，很多事物本质上都相似。当神经网络的层数特别深的时候，它归结出的“概念”特征可以认为已经可以上升到哲学层面了。那么这种认知和总结就可以“迁移”，基于这种认知，即在A1’的基础上，我们只要再构建一个子网络B把属于D1和D2共性之外的特性再提取和解析清楚，就可以得到解决D2的网络A2了。

其次，我们再从现实生活中找两个生动的例子来看迁移学习的思考方式。

第一个案例，世界上有很多科学界大牛是可以带多个看似差异很大的研究方向的。其实，原理很简单，他们长期对于一个或者两个学科和方向研究得非常非常深的时候，长期的思考和研究训练，把他自身的认知神经网络训练得很深很深了，已经上升到了哲学层
面上。我们往往会说他已经把他所研究的方向学透了，学通了。一旦这样，那么这位大牛的迁移学习的能力将会很强，后期同时研
究多个方向也是可能的。而普通人往往不会刻苦地去深入地思考问题，注意力一直被打散，没有聚焦在一个点上。他自身的神经网
络的层数必然非常少，是一浅层的神经网络。这会使得他不愿意接受新的知识，因为迁移学习能力不强，他不能基于以往的认知继
续拓展，他不是基于A1’继续学习的，而是从零开始，不断地从零开始，会让人觉得不耐烦，觉得压力大，学不进去。他看任何事物都是“分离”的，即使很相似的东西，他也觉得是不一样的，更加去侧重他们的不同点。而不愿意去思考事物之间的关联和共性，抓住关键的点和面，然后突破。而现实生活中，这种不善于思考或者懒于思考的人通常记忆力会不错，而且必须不错，否则可能没法很好地在这个社会立足。

第二个案例，我相信很多人都喜欢打篮球，或者打过篮球。也有很多朋友最近也中了王者农药的毒。其实，这两样东西是很相似的东西，都是5vs5。篮球中的角色有中锋，大前锋，小前锋，得分后卫，控球后卫。王者荣耀中有上单位（单挑王），中单位（法师），下单位（射手），打野位（刺客），辅助位（肉、奶妈）。大前锋相当于王者荣耀中的辅助位，主要是能扛，能传球，奶妈位。小前锋对应上单位。控球后卫对应辅助。得到后卫对应射手。中锋也是肉盾型，有斩杀能力，比如苏烈。那么这两种竞技的人物设定是类似的，战略和战术也可以相互借鉴。你可以通过深入地理解其中一个，从而迁移地认识另外一个。举几个例子，比方说你不肯能一直在篮球场上放大技能，太耗体力，就像王者荣耀中每个技能放完都要有一个时间间隔才可以再放第二次。篮球场上带球加速突破就相当于疾跑，跳步就相当于闪现。当你体会到两者的妙处时，你打篮球时，也就会合理运用跳步了。篮球场上的体力相当于王者荣耀中的血量和蓝的综合。那么他们两有什么区别呢？或者各自又有什么特点呢？篮球除了玩想法和玩策略，同时还需要切身投入，可以锻炼身体，挥洒汗水也是人生一大快事嘛。王者荣耀在虚拟世界里，不需要你挥洒汗水，你的角色相当于篮球教练员。除了篮球元素外，里面还有野怪、小兵、经济、红蓝buff、主宰等，元素更为丰富，所以不考虑有锻炼身体和切身投入的喜好的话，王者荣耀肯定比篮球会好玩一些的。

以上就是个人一点点小小思考，勿喷，谢谢！