人工神经网络和人工智能,人工智能神经网络技术

人工智能与神经网络之间有什么关系？

神马？你接触了神经网络？

真了不起，人工智能与神经网络没有直接关系（神经元芯片出来后，会怎么样就不知劳），只是人工智能模仿了神经网络的部分功能，过50年后，也许能够完全模仿，期间计算机技术能按照现在的发展速度去发展话，是有可能的。

真的实现的那一天，人类未日是不是就会到来？

谷歌人工智能写作项目：小发猫

人工智能，机器学习，神经网络，深度神经网络之间的关系是什么？

这些概念大家经常碰到，可能会有一些混淆，我这里解释下深度神经网络模型算法，深度神经网络分析。            人工智能，顾名思义ArtificialIntelligence，缩写是大家熟知的AI。

是让计算机具备人类拥有的能力——感知、学习、记忆、推理、决策等。

细分的话，机器感知包括机器视觉、NLP，学习有模式识别、机器学习、增强学习、迁移学习等，记忆如知识表示，决策包括规划、数据挖掘、专家系统等。上述划分可能会有一定逻辑上的重叠，但更利于大家理解。

其中，机器学习（MachineLearning，ML）逐渐成为热门学科，主要目的是设计和分析一些学习算法，让计算机从数据中获得一些决策函数，从而可以帮助人们解决一些特定任务，提高效率。

它的研究领域涉及了概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。

神经网络，主要指人工神经网络（ArtificialNeuralNetwork，ANN），是机器学习算法中比较接近生物神经网络特性的数学模型。

通过模拟人类神经网络的结构和功能，由大量“神经元”构成了一个复杂的神经网络，模拟神经元的刺激和抑制的过程，最终完成复杂运算。

深度神经网络，大家可以理解为更加复杂的神经网络，随着深度学习的快速发展，它已经超越了传统的多层感知机神经网络，而拥有对空间结构进行处理（卷积神经网络）和时间序列进行处理（递归神经网络）的能力。

所以上面的四种概念中，人工智能是最宽泛的概念，机器学习是其中最重要的学科，神经网络是机器学习的一种方式，而深度神经网络是神经网络的加强版。记住这个即可。

神经网络属于人工智能嘛？

人工神经网络，人工神经网络是什么意思

。

一、人工神经网络的概念人工神经网络（ArtificialNeuralNetwork，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。

该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。

它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。

每个节点代表一种特定的输出函数，称为激活函数（activationfunction）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。

人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。

另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。

输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。

神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

二、人工神经网络的发展神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

1.第一阶段----启蒙时期(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。

1943年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。

在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。

(2)、Hebb规则：1949年，心理学家赫布（Hebb）出版了《TheOrganizationofBehavior》（行为组织学），他在书中提出了突触连接强度可变的假设。

这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常著名的Hebb规则。

这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。

(3)、感知器模型：1957年，罗森勃拉特（Rosenblatt）以M-P模型为基础，提出了感知器（Perceptron）模型。

感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。

这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。

Rosenblatt证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。

Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。

(4)、ADALINE网络模型：1959年，美国著名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptivelinearelement，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。

ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

2.第二阶段----低潮时期人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。

这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。

(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizingfeaturemap)。

后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。

它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。

这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。

(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory)，其学习过程具有自组织和自稳定的特征。

3.第三阶段----复兴时期(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。

在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。

1984年，Hopfield又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。

1985年，Hopfield和Tank利用Hopfield神经网络解决了著名的旅行推销商问题（TravellingSalesmanProblem）。Hopfield神经网络是一组非线性微分方程。

Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。

因为Hopfield神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。

(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。

1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。

Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann机模型。

(3)、BP神经网络模型：1986年，儒默哈特（melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（ErrorBack-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。

(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《ParallelDistributedProcessing：ExplorationintheMicrostructuresofCognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。

可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。

(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。

Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。

(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。

(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。

通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。

(11)、90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。

经过多年的发展，已有上百种的神经网络模型被提出。

人工智能，机器学习与深度学习，到底是什么关系

有人说，人工智能（AI）是未来，人工智能是科幻，人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的，就看你指的是哪一种人工智能。

今年早些时候，GoogleDeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。

在媒体描述DeepMind胜利的时候，将人工智能（AI）、机器学习（machinelearning）和深度学习（deeplearning）都用上了。

这三者在AlphaGo击败李世乭的过程中都起了作用，但它们说的并不是一回事。今天我们就用最简单的方法——同心圆，可视化地展现出它们三者的关系和应用。

向左转|向右转如上图，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。五十年代，人工智能曾一度被极为看好。

之后，人工智能的一些较小的子集发展了起来。先是机器学习，然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。

从概念的提出到走向繁荣1956年，几个计算机科学家相聚在达特茅斯会议（DartmouthConferences），提出了“人工智能”的概念。

其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言；或者被当成技术疯子的狂想扔到垃圾堆里。

坦白说，直到2012年之前，这两种声音还在同时存在。过去几年，尤其是2015年以来，人工智能开始大爆发。很大一部分是由于GPU的广泛应用，使得并行计算变得更快、更便宜、更有效。

当然，无限拓展的存储能力和骤然爆发的数据洪流（大数据）的组合拳，也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头，发展到能够支撑那些每天被数亿用户使用的应用的。

| 人工智能（ArtificialIntelligence）——为机器赋予人的智能向左转|向右转早在1956年夏天那次会议，人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。

这就是我们现在所说的“强人工智能”（GeneralAI）。这个无所不能的机器，它有着我们所有的感知（甚至比人更多），我们所有的理性，可以像我们一样思考。

人们在电影里也总是看到这样的机器：友好的，像星球大战中的C-3PO；邪恶的，如终结者。强人工智能现在还只存在于电影和科幻小说中，原因不难理解，我们还没法实现它们，至少目前还不行。

我们目前能实现的，一般被称为“弱人工智能”（NarrowAI）。弱人工智能是能够与人一样，甚至比人更好地执行特定任务的技术。例如，Pinterest上的图像分类；或者Facebook的人脸识别。

这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。但它们是如何实现的？这种智能是从何而来？这就带我们来到同心圆的里面一层，机器学习。

| 机器学习——一种实现人工智能的方法向左转|向右转机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域。

传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。众所周知，我们还没有实现强人工智能。早期机器学习方法甚至都无法实现弱人工智能。

机器学习最成功的应用领域是计算机视觉，虽然也还是需要大量的手工编码来完成工作。

人们需要手工编写分类器、边缘检测滤波器，以便让程序能识别物体从哪里开始，到哪里结束；写形状检测程序来判断检测对象是不是有八条边；写分类器来识别字母“ST-O-P”。

使用以上这些手工编写的分类器，人们总算可以开发算法来感知图像，判断图像是不是一个停止标志牌。这个结果还算不错，但并不是那种能让人为之一振的成功。

特别是遇到云雾天，标志牌变得不是那么清晰可见，又或者被树遮挡一部分，算法就难以成功了。这就是为什么前一段时间，计算机视觉的性能一直无法接近到人的能力。它太僵化，太容易受环境条件的干扰。

随着时间的推进，学习算法的发展改变了一切。

| 深度学习——一种实现机器学习的技术向左转|向右转人工神经网络（ArtificialNeuralNetworks）是早期机器学习中的一个重要的算法，历经数十年风风雨雨。

神经网络的原理是受我们大脑的生理结构——互相交叉相连的神经元启发。但与大脑中一个神经元可以连接一定距离内的任意神经元不同，人工神经网络具有离散的层、连接和数据传播的方向。

例如，我们可以把一幅图像切分成图像块，输入到神经网络的第一层。在第一层的每一个神经元都把数据传递到第二层。第二层的神经元也是完成类似的工作，把数据传递到第三层，以此类推，直到最后一层，然后生成结果。

每一个神经元都为它的输入分配权重，这个权重的正确与否与其执行的任务直接相关。最终的输出由这些权重加总来决定。我们仍以停止（Stop）标志牌为例。

将一个停止标志牌图像的所有元素都打碎，然后用神经元进行“检查”：八边形的外形、救火车般的红颜色、鲜明突出的字母、交通标志的典型尺寸和静止不动运动特性等等。

神经网络的任务就是给出结论，它到底是不是一个停止标志牌。神经网络会根据所有权重，给出一个经过深思熟虑的猜测——“概率向量”。

这个例子里，系统可能会给出这样的结果：86%可能是一个停止标志牌；7%的可能是一个限速标志牌；5%的可能是一个风筝挂在树上等等。然后网络结构告知神经网络，它的结论是否正确。

即使是这个例子，也算是比较超前了。直到前不久，神经网络也还是为人工智能圈所淡忘。其实在人工智能出现的早期，神经网络就已经存在了，但神经网络对于“智能”的贡献微乎其微。

主要问题是，即使是最基本的神经网络，也需要大量的运算。神经网络算法的运算需求难以得到满足。

不过，还是有一些虔诚的研究团队，以多伦多大学的GeoffreyHinton为代表，坚持研究，实现了以超算为目标的并行算法的运行与概念证明。但也直到GPU得到广泛应用，这些努力才见到成效。

我们回过头来看这个停止标志识别的例子。神经网络是调制、训练出来的，时不时还是很容易出错的。它最需要的，就是训练。

需要成百上千甚至几百万张图像来训练，直到神经元的输入的权值都被调制得十分精确，无论是否有雾，晴天还是雨天，每次都能得到正确的结果。

只有这个时候，我们才可以说神经网络成功地自学习到一个停止标志的样子；或者在Facebook的应用里，神经网络自学习了你妈妈的脸；又或者是2012年吴恩达（AndrewNg）教授在Google实现了神经网络学习到猫的样子等等。

吴教授的突破在于，把这些神经网络从基础上显著地增大了。层数非常多，神经元也非常多，然后给系统输入海量的数据，来训练网络。在吴教授这里，数据是一千万YouTube视频中的图像。

吴教授为深度学习（deeplearning）加入了“深度”（deep）。这里的“深度”就是说神经网络中众多的层。

现在，经过深度学习训练的图像识别，在一些场景中甚至可以比人做得更好：从识别猫，到辨别血液中癌症的早期成分，到识别核磁共振成像中的肿瘤。

Google的AlphaGo先是学会了如何下围棋，然后与它自己下棋训练。它训练自己神经网络的方法，就是不断地与自己下棋，反复地下，永不停歇。

| 深度学习，给人工智能以璀璨的未来深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。

无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。人工智能就在现在，就在明天。有了深度学习，人工智能甚至可以达到我们畅想的科幻小说一般。

你的C-3PO我拿走了，你有你的终结者就好了。