神经网络到底是什么？

起源

神经网络起源于 WarrenMcCulloch 和 Walter Pitts 于 1943 年首次建立的神经网络模型。他们的模型完全基于数学和算法，由于缺乏计算资源，模型无法测试。

后来，在 1958 年，Frank Rosenblatt 创建了第一个可以进行模式识别的模型，改变了现状。即感知器。但是他只提出了 notation 和模型。实际的神经网络模型仍然无法测试，此前的相关研究也较少。

第一批可以测试并具有多个层的神经网络于 1965 年由 Alexey Ivakhnenko 和 Lapa 创建。

之后，由于机器学习模型具有很强可行性，神经网络的研究停滞不前。很多人认为这是因为 Marvin Minsky 和 Seymour Papert 在 1969 年完成的书《感知机》（Perceptrons）导致的。

然而，这个停滞期相对较短。6 年后，即 1975 年，Paul Werbos 提出反向传播，解决了 XOR 问题，并且使神经网络的学习效率更高。

1992 年，最大池化（max-pooling）被提出，这有助于 3D 目标识别，因为它具备平移不变性，对变形具备一定鲁棒性。

2009 年至 2012 年间，JürgenSchmidhuber 研究小组创建的循环神经网络和深度前馈神经网络获得了模式识别和机器学习领域 8 项国际竞赛的冠军。

2011 年，深度学习神经网络开始将卷积层与最大池化层合并，然后将其输出传递给几个全连接层，再传递给输出层。这些被称为卷积神经网络。

在这之后还有更多的研究。

什么是神经网络？

神经网络是一种对生物神经的模拟模型，从根本上来说，现有的人工智能都是在模拟生物的大体方向上，采用数学的方法进行改进。如

**梯度下降:**梯度下降法指的是对目标值的误差函数进行求导，逐渐展开，对每一个权重和偏置求偏导数。然后在引入学习率。用学习率乘各个权重和偏置的偏导数再用原来的权重和偏置与其相减，得到新的值。不断的迭代，以逼近最优解。

就是典型的在模拟的基础上引入数学方法。人工智能的核心部分就在于对神经节点间的权重进行调节和对输入的数据的采样。因此才有了各种各样的变体，如对抗神经网络，卷积神经网络…茫茫多的变种。说白了就是利用系统复杂度，对输入值进行复杂变换，不断更新对数值的加工方法，直到达到最优的方法。而大体的方法框架由以下3个部分构成：

3 个部分组成了神经网络的的基本架构

1. 单元/神经元
2. 连接/权重/参数
3. 偏置项

还有一个较为特殊的参数叫做超参数，千万不要被这个超字吓到，其实这个词的意思很简单的。超参数，把它翻译一下就是，超出计算能力的参数，也就是不可计算的意思，只能够根据经验判断。如：隐藏层的层数，权重的初始值和神经网络的连接结构。都属于超参数。

权重，参数，连接：
作为神经网络最重要的部分，这些（和偏置项）是用神经网络解决问题时必须学习的数值。这就是你现在需要知道的。

偏置项：

这些数字代表神经网络认为其在将权重与数据相乘之后应该添加的内容。当然，它们经常出错，但神经网络随后也学习到最佳偏置项。

层：

这是神经网络在任何问题中都可获得复杂度的原因。增加层（具备单元）可增加神经网络输出的非线性。

每个层都包含一定数量的单元。大多数情况下单元的数量完全取决于创建者。但是，对于一个简单的任务而言，层数过多会增加不必要的复杂性，且在大多数情况下会降低其准确率。反之亦然。

每个神经网络有两个必备的层：输入层和输出层。二者之间的层称为隐藏层。下图所示的神经网络包含一个输入层（8 个单元）、一个输出层（4 个单元）和 3 个隐藏层（每层包含 9 个单元）。

神经网络只不过是一种计算机算法，没有想象中的那么深奥，先代数到模型中，再对模型的误差函数求导，再应用梯度下降法，更新权重，不断的如此反复，逼近最优解。

可以加我QQ：1148035381 共同讨论
具体的例子，可以参考我自己搭建的一个小型卷积网络
链接:百度网盘

提取码:9rb9