深度学习简介

深度学习简介

神经网络与深度学习的关系

深度学习比起传统神经网络的优势在于：
1.采用了新的激活函数ReLu，可以使得网络的层次超过三层
2.采用Dropout, Maxout和随机池化技术（Stochastic Pooling）解决过拟合问题
3.可以采用GPU，解决多层网络训练速度慢的问题。

深度学习的问题

深度学习有它的问题：深度学习目前还停留在实验科学的阶段，其严格的数学解释还未完全建立。Geometric Understanding of Deep Learning一文从几何的角度理解深度学习，为深度学习提供严密的数学论证。NIPS2018有论文从数学角度尝试解释Dropout的作用，深入探究dropout的本质。

深度学习与人工智能中其他理论的关系

深度学习框架介绍

现在流行的深度学习框架有很多。包括微软开发的CNTK，Google的TensorFlow，蒙特利尔大学开发的Theano, facebook开发的Caffe，Pytorch基金会创立的PyTorch和由中国人发起的MXNet。图1-9是微软公司发布的各种深度学习框架性能对比图。

微软的CNTK是采用C++开发，提供了C++和Python的接口。Torch有个Python版本Pytorch。相比Tensorflow它有个优势是调试方便。