基于并行遗传算法优化的深度神经网络模型

基于并行遗传算法优化的深度神经网络模型

       深度神经网络的问题是训练速度慢，容易梯度消失，剃度消失问题的存在，使得深度神经网络的训练变得极度困难,人们提出的cnn rnn lstm这些模型，就是为了减少节点的数目，提高训练速度，但这些模型主要局限在图像识别 自然语言理解这些领域，而人类社会的大多数问题，泛化的深度神经网络很显然是更贴切的模型

      用遗传算法来训练神经网络的权值，很早就有了，但缺点是受以前计算机条件的限制，训练速度太慢，当然了，用超算来训练应该是可以的，不过现在有了gpu这个神器，集成几千个gpu的芯片非常便宜，这样，用并行遗传算法来训练深度神经网络的权值成为了可行的办法

      遗传算法和深度神经网络这两个最重要得人工智能算法本身都是天然分布式和并行化的，本质上，脑神经的阀值正是亿万年遗传进化变异优化的结果，因此，基于并行遗传算法来优化深度神经网络模型的权值，必然是未来的一个主要方向