浅谈深度学习

        深度学习的根本，即机器学习，这才是它的本质与核心。随着神经网络的发展，目前比较流行的网络结构分别有：深度神经网络（DNN）、卷积神经网络（CNN）、循环递归神经网络（RNN）、生成对抗网络（GAN）等。

        学习深度学习要有Python基础，推荐可以按顺序看一下《笨方法学Python》（Learn Python the Hard Way）、廖雪峰的Python入门（掌握前几章的Python基础即可）、Edx：Introduction to Computer Science and Programming Using Python（这是MIT的公开课，适合更进一步的学习）。

        在目前，深度学习的主流框架有Tensorflow、Pytorch

                Tensorflow：由Google开源设计的一款实用C++语言开发的开源计算软件，实用数据流图（Data Flow Graph）的形式进行计算。其有着Python和C++的接口，目前其比较有名的几个基于Tensorflow第三方抽象库是Keras、Tflern、tfslim、TensorLayer。

                Pytorch：由Torch7团队开发的，使用了Python作为开发语言，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络。目前越来越多的学者及相关应用都在使用。

经典神经网络架构：

        AlexNet：12年提出，8层网络

        VGGNet：14年提出，16层网络

        ResNet（残差网络）：2015年提出，解决了之前神经网络层数在叠加到20层以后效果反而越差的问题，建议用来进行特征提取。

        DenseNet：2017年提出，每一层的输出都会作为后面所有层的输入，提升了网络层级间信息流与梯度流的效率。

        SeNet：2017年提出， 其Squeeze-Excitation 模块在普通的卷积（单层卷积或复合卷积）由输入 X 得到输出 U 以后，对 U 的每个通道进行全局平均池化得到通道描述子（Squeeze），再利用两层 FC 得到每个通道的权重值，对 U 按通道进行重新加权得到最终输出（Excitation），这个过程称之为 feature recalibration，通过引入 attention 重新加权，可以得到抑制无效特征，提升有效特征的权重，并很容易地和现有网络结合，提升现有网络性能，而计算量不会增加太多。