数学之美——google大脑和人工神经网络

原创 2016年06月02日 11:07:47

人工神经网络可用于解决:分类问题。

人工神经网络设计:

  1. 结构(网络分几层,每层几个节点,节点之间如何连接)
  2. 非线性函数f的设计,常用指数函数。

人工神经网络的训练

1.监督训练
- 假设成本函数C:训练的输出值与实际输出值的差距(例如定义为欧几里得距离)将训练人工神经网络的问题转化为最优化问题。
-解决最优化问题的常用方法是:梯度下降法 训练数据+成本函数C
2. 无监督训练
-定义新的成本函数C:能够在不知道正确输出值的情况下,确定训练出的模型是好还是坏。
例如:分类问题,定义样本到聚类中心的欧几里得距离为成本函数。

对于结构复杂的人工神经网络,训练计算量非常大,是NP-complete问题,有许多机器学习专家在寻找各种好的近似方法。

人工神经网络与贝叶斯网络的关系

不同点:人工神经网络在结构上是完全标准化的,而贝叶斯网络更灵活;人工神经网络先对各个变量进行线性组合,最后对组合的结果进行非线性变换,用计算机实现起来比较容易。而贝叶斯网络的变量可以组合成任意函数,毫无限制,在获得灵活性的同时,也增加了复杂性。
贝叶斯网络更容易考虑上下文前后的相关性,因此可以解码一个输入序列(例如将一段语音识别成文字。将英语句子翻译成中文)而人工神经网络的输出相对孤立,它可以识别一个个字,但是很难处理一个序列,因此常常是估计一个概率模型的参数。(例如机器翻译中语言模型参数的训练,声学模型参数的训练)
很多机器学习的数学工具其实是一通百通的,可以根据实际问题找到最方便的工具。

延伸google大脑

Google采用人工神经网络的原因:
1. 理论上,人工神经网络可以在多维空间画出各种形状的模式分类边界,有很好的通用性。
2. 过去20多年中,各种机器学习算法不断改进,但是人工神经网络算法很稳定几乎没变,google希望自己开发的计算工具能够设计一次长期使用。
3. 并非所有的机器学习算法(比如贝叶斯网络)都容易并行化。

-分块后虽然让块与块之间的计算变得非常复杂,但是却让一个原本无法在一台服务器上完成的大问题,分解成大量可以在一台服务器上完成的小问题。
-Google采用随机梯度下降法,比一般梯度下降法收敛更快的L-BFGS方法,其更容易实现并行化。
-Google大脑算法

1. 定义两个服务:取参数;推送参数
2. 对于第n太服务器,重复下列步骤:
取参数,取数据
计算成本函数的梯度
计算步长
计算新参数
推送新参数

Google 黑板报 -- 数学之美 系列

Google 黑板报 -- 数学之美 系列Google 黑板报 -- 数学之美 系列一 -- 统计语言模型 Google 黑板报 -- 数学之美 系列二 -- 谈谈中文分词 Google 黑板报 --...
  • lyflower
  • lyflower
  • 2006年12月21日 15:07
  • 3109

《数学之美》知识点详细总结

《数学之美》知识点详细总结 From`RxNLP`Scofield 未完待续           《数学之美》这本书在本科期间电子版上偶尔进行了翻阅,后来有时间了就完整的进行了阅读。出于老习...
  • Scotfield_msn
  • Scotfield_msn
  • 2017年04月05日 17:15
  • 2450

《数学之美》之谈谈密码学

《数学之美》之谈谈密码学 声明:以下内容或摘自或总结自吴军老师的《数学之美》,由于所理解能力有限,本文并不对内容的科学性进行考证,但求能够从中略窥知一二,则已经是大有裨益了。而内容的科学性考证还是...
  • LG1259156776
  • LG1259156776
  • 2015年09月17日 10:42
  • 1635

Google 数学之美系列整理

摘自自 Google黑板报。 07年的时候读完了google黑板报的这个系列的文章,正好教研室里做的事情是搜索引擎相关的,分词、关键字权重计算、索引等等,都是当时组里会用到的。也符合自己的工程要做的...
  • pinuo
  • pinuo
  • 2010年12月12日 15:13
  • 8079

谷歌背后的数学

以下是转载,见这里。 一. 引言   在如今这个互联网时代, 有一家公司家喻户晓——它自 1998 年问世以来, 在极短的时间内就声誉鹊起, 不仅超越了所有竞争对手, 而且彻底改观了整个互联网的生...
  • JIEJINQUANIL
  • JIEJINQUANIL
  • 2016年03月23日 23:07
  • 501

数学资源大全

发信站: 水木社区 (Wed Apr 30 13:14:00 2008), 站内http://www.math.org.cn/forums/index.php?showtopic=4427建议看此贴时...
  • tao2041
  • tao2041
  • 2008年05月01日 18:44
  • 5668

google数学之美系列

Google 黑板报 — 系列一 — 统计语言模型 http://googlechinablog.com/2006/04/blog-post.html 系列二 — 谈谈中文分词 http://goog...
  • wqf363
  • wqf363
  • 2008年05月22日 18:40
  • 3393

数学之美,美在将复杂问题简化——《数学之美》读后感

我是在读了吴军博士的《浪潮之巅》之后,发现推荐了《数学之美》这本书。我到豆瓣读书上看了看评价,就果断在当当上下单买了一本研读。本来我以为这是一本充满各种数学专业术语的书,读后让我非常震撼的是吴军博士居...
  • kbawyg
  • kbawyg
  • 2012年09月29日 14:34
  • 6998

数学之美 系列---发表者: 吴军, Google 研究员

很好的一篇文章,对于一些最根本的问题,还是转化为数学问题,还是得学好数学呀   数学之美 系列---发表者: 吴军, Google 研究员 关注ly6873 的发言  【 大 中 小 ...
  • caiye917015406
  • caiye917015406
  • 2012年03月09日 19:28
  • 2209

数学之美 电子书

  • 2016年02月14日 22:33
  • 10.82MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数学之美——google大脑和人工神经网络
举报原因:
原因补充:

(最多只允许输入30个字)