有关全连接神经网络的定义与C++实现

      不久之前参加了华为的调参大赛，虽然惨败而归，但是也学到了很多东西，也实现了很多算法，比如LSTM和单纯性，我把实现放在之后的博客中。下面介绍下深度学习的基础——全连接神经网络（Full Connected Network）。

1. 神经单元   

    神经元是一种感知器，神经网络由许多感知器组成，组成神经网络的几种主要单元包括简单感知器、线性感知器和sigmoid感知器等，下面介绍下简单感知器。

    感知器以一个实数向量作为输入，计算各个输入元素的线性组合，然后把结果输入一个符号函数（或者阶跃函数）其中每一个wi是一个实数，叫做权值（weight）,用来决定输入xi对感知器的贡献率，符号函数：

  可以把感知器看作是n维空间中的超平面决策面，对超平面一侧的实例输出1，对于另一侧的实例输出-1,决策面方程为W*X=0，事实上有些样例集合不能被任一超平面分割，而那些可以被分割的称为可分样例集合（linearly separable）。单独的感知器只能表示些布尔函数和一些可简单二分的集合，真正强大的地方是大量感知器单元组成的多层网络。

2