文献阅读：The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches

文献阅读笔记

介随口说说快速

---

介绍

深度学习类型

• 监督学习
• 半监督学习
• 无监督学习

• 强化学习（基本上将半监督学习和强化学习归为一起）

  有关深度学习类型的说明博客：监督学习、半监督学习、无监督学习以及强化学习类型比较
  

深度学习中的特征学习

深度学习应用场景

深度学习较好的性能

为什么深度学习

深度学习要面临的挑战

---

深度神经网络

DNN发展历史

梯度下降

随机梯度下降

向后传播

使用动量

学习率

权重衰减
L2正则化

---

卷积神经网络（CNN）

CNN概述

• 卷积层
• 池化层
• 分类层

前馈神经网络

• 网络参数和CNN所需要的内存

比较有名的CNN框架

• LeNet
• AlexNet
• ZFNet / Clarifai
• VGG Net
• Google Net
• Residual Network
• Densely Connected Network (DenseNet)
• FractalNet
• CapsuleNet
• 不同的模型的比较
• 其它模型
  CNN 的应用
• 解决图形数据结构的问题
• 计算机视觉
• 语言处理
• 医疗影像

---

先进的训练手段

预处理数据集
网络初始化
批量正则化
Alternative Convolutional methods
激活函数
Sub-sampling layer or pooling layer
Regularization approaches for DL
Optimization methods for DL

---

RNN

介绍

---

AUTO-ENCODER and RESTRICTED BOLTZMANN MACHINE

---

GENERATIVE ADVERSARIAL NETWORKS (GUN)

---

DEEP REINFORCEMENT LEARNING (DRL)

---

TRANSFER LEARNING

---

ENERGY EFFICIENT APPROACHES AND HARDWIRES FOR DL

---

HARDWARE FOR DL

---

FRAMEWORKS AND SDK

---

JOURNAL AND CONFERENCES

---

CONCLUSIONS AND FUTURE WORKS