看完这篇保证你明白人工神经网络之几何原理Ⅰ：单(隐藏)层神经网络

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 

人工神经网络之几何原理

(Geometric principle of Artificial Neural Networks)

本文探讨的人工神经网络仅仅为最简单的ReLU神经元所构成的普通神经网络（非CNN和RNN），且只探讨了单(隐藏)层的分类这一个经典的场景。

基本约定

为了方便讨论和图像化, 全文使用的激活函数均为ReLU, 原始输入的X为二维向量。

实例1

下图为一个最简单的人工神经网络，其包含两个节点的输入层，两个节点的输出层，以及三个节点的隐藏层。该网络可以用于解决输入为二维向量的二元分类问题，其输出为两种分类的概率。

• 输入层 - 2维向量X
• 隐藏层(第一层) - ReLU层 (3个神经元)
• 输出层(第二层) - Softmax层 (2个神经元, 二元分类)

下图为假定的样本分布，每个样本有两个特征（其横坐标值X0, 其纵坐标值X1）以及从属于红绿两种分类之一（其颜色）。样本的真实分界线为一个圆。

下图为在上述网络的情况下，学习后（省略了学习的过程）的最优结果，该神经网络认为在灰色区域内的样本为红色，在灰色区域外的样本为绿色，其分类识别的准确率为95%。（可以点击TensorPlayground体验学习的过程）

• 3个ReLU神经元下在这个分布下最优的分界图形就是六边形

为何能够在如此简单的神经网络下，达到这种效果呢（六边形的分界图形）&#