神经进化

129人阅读 评论(0) 收藏 举报
分类:

梯度下降VS神经进化

在梯度下降中, 我们需要的只是梯度, 让这个神经网络的参数滑到梯度躺平的地方就可以, 因为梯度指明了一个优化的方向, 所以如果是监督学习, 优化起来会非常快。 而神经网络的进化, 使用的却是另一种手段,用初始的点创造出很多新的点, 然后通过新的点来确定下一代的起点在哪. 这样的循环再不断地继续,可以想象, 如果在监督学习中, 需要不断产生非常多的新网络, 测试新的网络, 这将比梯度法慢很多。但是进化的方法相对梯度下降跳出局部最优的能力更强。

在梯度下降中, 神经网络很容易会走到一个局部最优, 但是如果是使用基于遗传算法的神经网络, 这个优化过程虽然慢, 我们的宝宝网络却可以随时跳出局部最优, 因为它完全不受梯度的限制. 而且除了监督学习, 我们还能用进化理论的神经网络做强化学习, 在这点上, 已经有最新的研究指出, 基于进化策略的神经网络完全有能力替代传统的基于梯度的强化学习方法.

神经网络进化的方式

1.定拓扑神经网络

如下的全连接神经网络:


通过不断尝试变异, 修改链接中间的 weight, 改变神经网络的预测结果, 保留预测结果更准确的, 淘汰不准确的。

2.不定拓扑神经网络

使用NEAT算法:http://blog.csdn.net/winycg/article/details/79433015


查看评论

第7周:神经网络基础-人工智能工程师直通车

-
  • 1970年01月01日 08:00

神经进化:一种不一样的深度学习——通过进化算法来探求神经网络的进化

“把人工智能在机构中用起来” ——O'Reilly人工智能大会正在征集讲师议题,查看具体要求请点击这里,截止日期11月7日。 编者注:想进一步了解神经进化,可以查看旧金山人工智能大会上...
  • zkh880loLh3h21AJTH
  • zkh880loLh3h21AJTH
  • 2017-10-17 00:00:00
  • 1553

神经进化是深度学习的未来

摘要: 本文主要讲了神经进化是深度学习的未来,以及如何用进化计算方法(EC)优化深度学习(DL)。过去几年时间里,我们有一个完整的团队致力于人工智能研究和实验。该团队专注于开发新的进化计算方法(EC)...
  • yunqiinsight
  • yunqiinsight
  • 2018-03-21 12:01:16
  • 132

ANN:神经网络堆叠/进化故事( 从感知机到DRBN )

几乎每一次神经网络的再流行,都会出现:推进人工智能的梦想之说。不过感觉,神经网络的成功是对人的已有经验的覆盖。自然状态是一个DFA,而总结规律的过程则是根据经验的正确性把几何状态转化为抽象代数运算,这...
  • wishchin
  • wishchin
  • 2015-04-16 10:36:59
  • 2622

神经网络深入(连载4)拓扑扩张

游戏编程中的人工智能技术 连载4:拓扑扩张
  • zzwu
  • zzwu
  • 2017-01-25 13:16:17
  • 689

思维进化算法应用于优化BP神经网络的初始权值和阈值

  • 2015年10月05日 10:33
  • 50KB
  • 下载

BP神经网络数学原理及推导过程

说明:本博客引自博客:http://blog.csdn.net/zhongkejingwang/article/details/44514073;并对此博客中有些地方的推导的过程进行详细地说明。同时,...
  • Vinsuan1993
  • Vinsuan1993
  • 2017-10-18 16:15:26
  • 701

《合作的进化》读书笔记

随着最后一个暑假的结束,新学期的来临,我的学生生涯也快要宣告结束,但学习的脚步却是不会停下的。 (真是一个漂亮的地方,也许,一本书,一杯茶,一古堡,两个人,便可度余生) 照片出处:http://f...
  • u013816144
  • u013816144
  • 2016-08-31 11:27:57
  • 2822

[进化算法] 进化算法之标准进化规划(EP)

标准进化规划算法
  • Joe_LQ
  • Joe_LQ
  • 2015-09-22 16:25:43
  • 1209

进化计算的简单例子

#include#include #include #include using namespace std; //种群总数 const int popSize = 100; //染色体长度 co...
  • dlphay
  • dlphay
  • 2017-10-17 15:28:46
  • 331
    个人资料
    持之以恒
    等级:
    访问量: 13万+
    积分: 4285
    排名: 8831
    赞助一下
    如果您觉得我的文章对您有帮助的话,不妨小额赞助一下,激励我写出更多的好文章,谢谢大家!

    以下是我的支付宝和微信账户