神经网络和深度学习（1）-- 什么是神经网络

神经网络和深度学习
上一篇	主目录	下一篇

---

---

1. 产生的背景

仅仅在过去的 20 年里对于很多应用，我们便收集到了大量的 数据，远超过机器学习算法能够高效发挥它们优势的规模。而深度学习和神经网络展现出的是，如果你训练一个小型的神经网络，那么这个性能可能会像下图黄 色曲线表示那样；如果你训练一个稍微大一点的神经网络，比如说一个中等规模的神经网络 （下图蓝色曲线），它在某些数据上面的性能也会更好一些；如果你训练一个非常大的神经 网络，它就会变成下图绿色曲线那样，并且保持变得越来越好。总结起来就是，神经网络和深度学习适合大数据集下的场景，并且数据集越多算法发挥的作用就越大直至饱和，这样处理大数据集的方式这比传统的要有效得多

2. 一个入门例子

房价预测的例子：
假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预测房价的函数。（其实就是基于这样的一种思想：把面积作为自变量x，价格作为因变量y，然后由六个数据集拟合出一条直线，这条直线能够用来预测当x为某值时价格y应该估计为多少。注意的是，这样通过六个数据集拟合出来的一条直线应该使得估计值和真实值的总体损失最小，即以后说到的损失函数Loss Function）

我们知道价格永远不会是负数的。因此，为了替代一条可能会让价格为负的直线，我们把直线弯曲一点，让它最终在零结束。这条粗的蓝线最终就是你的函数，用于根据房屋面积预测价格。有部分是零，而直线的部分拟合的很好。
作为一个神经网络，这几乎可能是最简单的神经网络。我们把房屋的面积作为神经网络的输入，通过一个节点（一个小圆圈），最终输出了价格（我们用 表示）。其实这个小圆圈就是一个单独的神经元。接着你的网络实现了左边这个函数的功能。

• 其中我们使用到了一个叫做激活函数的东西，如下图：
  ReLU（Rectified Linear Unit）函数：
  
  关于什么是激活函数和为什么要使用激活函数以及在某种情况下应该使用哪种激活函数的详情参照我的另一篇博文，请点击 传送门

3. 更进一步的例子

预测房子的价格的因素扩充为：面积，卧室的数量，邮政编码，富裕程度。
不同因素的影响：

基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估测步行化程度或者学校的质量。最后你可能会这样想，这些决定人们乐意花费多少钱。
我们可以构建以下的网络结构：

神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入 x，就能得到输出 y。 因为它可以自己计算你训练集中样本的数目以及所有的中间过程。所以，你实际上要做的就 是：这里有四个输入的神经网络，这输入的特征可能是房屋的大小、卧室的数量、邮政编码 和区域的富裕程度。给出这些输入的特征之后，神经网络的工作就是预测对应的价格。同时 也注意到这些被叫做隐藏单元圆圈，在一个神经网络中，它们每个都从输入的四个特征获得 自身输入，比如说，第一个结点代表家庭人口，而家庭人口仅仅取决于x1和x2特征，换句话 说，在神经网络中，你决定在这个结点中想要得到什么，然后用所有的四个输入来计算想要 得到的。因此，我们说输入层和中间层被紧密的连接起来了。 值得注意的是神经网络给予了足够多的关于x和 y 的数据，给予了足够的训练样本有 关 x和 y。神经网络非常擅长计算从x 到y的精准映射函数。 这就是一个基础的神经网络。你可能发现你自己的神经网络在监督学习的环境下是如此 的有效和强大，也就是说你只要尝试输入一个 x，即可把它映射成 y.

4. 什么是神经网络

说了那么多，到底什么是神经网络？百度百科给出的定义如下：
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（Learning Set）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集（Testing Set）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。
神经网络是通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则（学习算法）调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。

5. 神经网络的作用

正如本文开头所提到的那样，总结起来就是：能够训练大数据集，调整参数，拟合出使损失函数最小化的拟合函数，通过测试集的输入得到预测结果。

---

神经网络和深度学习
上一篇	主目录	下一篇