如何看待神经网络的黑箱？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

编者荐语

 

神经网络黑箱的意思是我们知其然，不知其所以然，相关理论比较缺乏。别看神经网络相关论文汗牛充栋，但是大部分类似于technical report，告诉你我这么做效果不错，具体原因不知道，只能“guess”，所以很容易被打脸。

链接丨https://www.zhihu.com/question/263672028/answer/430179912

如何看待神经网络的黑箱？这一篇文章(www.argmin.net/2018/01/25/optics/)讲得挺好的，他用光学系统类比深度学习，非常形象。

「从结构来看」，无论是深度学习还是镜头，都是一层一层叠起来的，如下图所示。

「从设计流程来看」，当要设计一个镜头的时候，往往以一个已知的镜头组合作为基础，这个已知的镜头组合一般都以发明这个镜头组合的人命名，类似于深度学习的里面的LeNet、AlexNet。然后你跑个仿真，看看这个基础镜头组合的表现和你需要达到的要求存在哪些差距，在合适的地方插入合适的组件来磨平差距。接着，你用一个[数值优化器]来调上述镜头组合的参数，以发挥上述镜头组合最大的功效。这个类似于深度学习里面的优化和调超参过程。

「从系统组成部件来看」，光学组件有的起到反射作用，有的起到衍射作用，有的起到[折射作用]，有的起到散射作用，有的起到相位校正作用等等。深度学习组件（conv、pool、relu等等）有的起到学习空间相关作用，有的起到防止过拟合作用，有的起到增加非线性作用等等。

「从发展历史来看」，伽利略时代虽然没有光学理论，类似于现在的深度学习，但是同样造出来了人类历史上第一架天文望远镜，推动了天文学的发展。现在深度学习也理论不足，但是极大地推动了人工智能的发展。「从结果看」，在几百年里，经过科学家的不懈努力，光学终于形成了一整套比较完备的体系，使得现在的光学工程师在设计镜头的时候有迹可循，而不是像几百年前的伽利略一样靠经验设计。

这一套完备的体系将光学分层了，如下图所示，这样的分层使得光学分工明确，每个人研究各自层的东西，一起推动光学发展。上面的层是下面层的抽象，越往上能解释越复杂的现象，见下图所示，而相比而言深度学习里面的很多现象还得不到较好的解释。

光学也经历过黑箱时代，深度学习现在就是黑箱时代，理论的前进一般会晚于实践，但是假以时日，理论肯定会完备起来，形成类似于当前光学那样的层层抽象的学术体系，只不过这个过程需要所有从业者一起的努力，和一定时间的积淀，也许几十年，也许上百年。

作者：mileistone  编辑：算法进阶（侵删）

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~