数学之美——google大脑和人工神经网络

原创 2016年06月02日 11:07:47

人工神经网络可用于解决:分类问题。

人工神经网络设计:

  1. 结构(网络分几层,每层几个节点,节点之间如何连接)
  2. 非线性函数f的设计,常用指数函数。

人工神经网络的训练

1.监督训练
- 假设成本函数C:训练的输出值与实际输出值的差距(例如定义为欧几里得距离)将训练人工神经网络的问题转化为最优化问题。
-解决最优化问题的常用方法是:梯度下降法 训练数据+成本函数C
2. 无监督训练
-定义新的成本函数C:能够在不知道正确输出值的情况下,确定训练出的模型是好还是坏。
例如:分类问题,定义样本到聚类中心的欧几里得距离为成本函数。

对于结构复杂的人工神经网络,训练计算量非常大,是NP-complete问题,有许多机器学习专家在寻找各种好的近似方法。

人工神经网络与贝叶斯网络的关系

不同点:人工神经网络在结构上是完全标准化的,而贝叶斯网络更灵活;人工神经网络先对各个变量进行线性组合,最后对组合的结果进行非线性变换,用计算机实现起来比较容易。而贝叶斯网络的变量可以组合成任意函数,毫无限制,在获得灵活性的同时,也增加了复杂性。
贝叶斯网络更容易考虑上下文前后的相关性,因此可以解码一个输入序列(例如将一段语音识别成文字。将英语句子翻译成中文)而人工神经网络的输出相对孤立,它可以识别一个个字,但是很难处理一个序列,因此常常是估计一个概率模型的参数。(例如机器翻译中语言模型参数的训练,声学模型参数的训练)
很多机器学习的数学工具其实是一通百通的,可以根据实际问题找到最方便的工具。

延伸google大脑

Google采用人工神经网络的原因:
1. 理论上,人工神经网络可以在多维空间画出各种形状的模式分类边界,有很好的通用性。
2. 过去20多年中,各种机器学习算法不断改进,但是人工神经网络算法很稳定几乎没变,google希望自己开发的计算工具能够设计一次长期使用。
3. 并非所有的机器学习算法(比如贝叶斯网络)都容易并行化。

-分块后虽然让块与块之间的计算变得非常复杂,但是却让一个原本无法在一台服务器上完成的大问题,分解成大量可以在一台服务器上完成的小问题。
-Google采用随机梯度下降法,比一般梯度下降法收敛更快的L-BFGS方法,其更容易实现并行化。
-Google大脑算法

1. 定义两个服务:取参数;推送参数
2. 对于第n太服务器,重复下列步骤:
取参数,取数据
计算成本函数的梯度
计算步长
计算新参数
推送新参数

相关文章推荐

《数学之美》知识点详细总结

《数学之美》知识点详细总结 From`RxNLP`Scofield 未完待续           《数学之美》这本书在本科期间电子版上偶尔进行了翻阅,后来有时间了就完整的进行了阅读。出于老习...

《数学之美》内容小结

数学在计算机领域有着广泛的应用,数学的本质是简单而直接的。自然语言与数学有着天然的内在的联系。通信原理和信息传输模型 信源编码和最短编码 解码的规则,语法 聚类 校验位 双语对照文本,语料库和机器翻译...

《数学之美》阅读笔记part2——第16章到第31章

第16章 信息指纹及其应用 1 信息指纹 将5000亿个网址随机地映射到128位二进制即16个字节的整数空间中,这16个字节的随机数就称作该网址的信息指纹。 伪随机数产生器算法PRNG:最早的冯...

简单有趣介绍神经网络

作者:王小龙 链接:http://www.zhihu.com/question/22553761/answer/36429105 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业...

机器学习系列:(十)从感知器到人工神经网络

从感知器到人工神经网络 在第8章,感知器里,我们介绍了感知器,一种线性模型用来做二元分类。感知器不是一个通用函数近似器;它的决策边界必须是一个超平面。上一章里面介绍的支持向量机,用核函...

神经网络中的激活函数

最近在看深度学习的东西,激活函数是其中的一个环节,就从网上的一搜寻关于激活函数的介绍 激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。 常用激活函数         激活函...
  • Losteng
  • Losteng
  • 2016年03月09日 11:17
  • 30267

Python与人工神经网络(5)——交叉熵成本函数

我们花了两篇文章的篇幅,建立了一个神经网络来识别手写图像,看起来效果相当不错,超过95%的正确率,实际上如果第二层使用100个隐藏神经元的时候,准确率可以再提升一个百分点。在这个过程中我们主要使用了随...
  • zxhm001
  • zxhm001
  • 2017年03月19日 14:21
  • 984

《一天学懂深度学习》PPT翻译一

前言 深度学习最近是真火,一开始听说这个名字的时候感觉莫名其妙,难道是教程序员怎么学习的?后来查阅了一些资料,原来是跟人工智能有关的。 其中李宏毅的《一天学懂深度学习》挺适合初学者的。于是我花了一点时...

CTR——人工神经网络+决策树

一、引言    这是篇论文的笔记,记录阅读该论文中的一些体会,希望与大家一起学到知识。论文题目为《Using neural networks for click prediction of spon...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数学之美——google大脑和人工神经网络
举报原因:
原因补充:

(最多只允许输入30个字)