1. Fully connect
每一个activation function就是一个神经元。全连接层就是将每个神经元的输出都作为下一层所有神经元的输入。
deep learning 就是有很多的hidden layers。 如上图,这是一个network的结构定义,如果把每一层的参数都给出,那么它就是一个function。
广义有两种调整网络的方式,即增加层数,或者增加神经元数目。增加层数就是添加更多的hidden layers,增加神经元数就是增加每一层用于拟合的activation function的数目(即神经元数目)。