本文探讨了深度学习中训练和检测过程的计算复杂度问题，源于庞大的参数规模。作者提出，传统的模板设计导致计算量大且难以理解，而卷积神经网络虽然减少模板总数但增加计算复杂度。同时，文章提及人脑的神经解剖学对人工智能模板设计的启示，以及人为设计模板的可能性。此外，讨论了代价函数设计的重要性及其对模型训练的影响，并指出当前研究仍在探索中。最后，文章强调了整个神经网络系统设计的复杂性和未来研究方向。
（1）训练过程 （2）检测过程
这两个过程的计算复杂，根本原因都是庞大的参数规模造成的。比如google的这个项目，每一个位置都用到了8个模版，每一个像素，这8个模版都是 不同的，因此导致最后的模版总数很大，所以训练和检测都很慢。当然，这种模版的设计法，让人不好理解，为什么不同的像素位置，模版完全不同。我还是支持以 前的卷积神经网络里面的思想，不同位置的模版都是一样的，但没一个位置，模版数量就远不止8个了。这样的好处是，内存空间中，总的模板数下降了；但缺点 是，计算更复杂了。
因此，如果能够找到一个好的方法，能够有效的较低计算复杂度，将是很有意义的。（比如某个邻域内如果方差极小，其实根本就没必要计算了，直接赋0.）
[](()三、人脑机理还有 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 很多没用上
深度学习模拟的是人脑的其中一个很小的方面，就是：深度结构，以及稀疏性。
但事实上，人脑是相当复杂滴。关于视觉注意机制、多分辨率特性、联想、心理暗示等功能，目前根本就没有太多的模拟。所以神经解剖学对于人工智能的影响应该是蛮大的。将来要想掀起机器智能的另一个研究高潮，估计还得继续借鉴神经解剖学。
[](()四、人为设计模版的可行性
一直在想，为什么第一层用于检测角点和边缘这种简单特征的模版，一定需要通过无监督训练得到，如果人为实现模拟的话，能否也得到较为理想的结果呢？
从神经解剖学的成果上来看，人脑的v1区和v2区，神经细胞确实是按照规律排列的。而且都是可以人为设计的。而且，一个让人怀疑的地方就是，v1区和v2区的神经细胞，是先天发育好的，还是后天训练出来的？如果是先天的，那就是说，这种模版是可以人为设计的。
[](()五、代价函数的设计方法
代价函数的设计，在初学者看来，是很奇怪的。代价函数的设计，直接影响到最终的模版训练结果，可以说是深度学习中最核心的模块。
从目前已经发表的论文来看，一是考虑重构误差，二是加入某种惩罚项。惩罚项的设计有多种模式，有考虑一阶范式的，有考虑二阶范式的，各种设计可谓千 奇百怪。有博文上讲到，惩罚项的作用是为了防止过拟合，但也有博文的观点是，惩罚项是为了保证稀疏性。（感觉过拟合与稀疏性是否存在某种内在联系。）
当然，代价函数的设计方法，目前还在不断探索，感觉这是一个可以发论文的点。
[](()六、整个神经网络系统的设计
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
