为什么是深度而不是宽度?
先说说我个人的理解,如下图所示,圆圈表示神经元,有两种方式。第一种,只有一层神经层,有8个神经元;第二种方式,有两层神经层,分别有2个和4个神经元。相比之下,第一种更“宽”更“浅”,第二种更“窄”更“深”。对于每个输入,两种方式都可能产生8种结果(第一种:8*1;第二种:2*4),但是第二种方式的神经元总数更少。
因此,在神经元数目相同的情况下,“深度”学习出现的情况会更多,效果也会更好、更全面。
多说一句,在操作系统课程中,内存管理中多级页表技术来节省空间也与“深度”这个问题原理相同。
下面这张图是《深度学习入门教程》中看到的,是对上面这个问题的解释,这里与逻辑门类比,与上面的解释本质是一样的。