神经网络的发展

卷积神经网络（convolution nerul newtwork）CNN的演进从LeNet到AlexNet，VggNet,GoogleNet,ResNet。
神经网络的基本组成有输入层，隐藏层，输出层。

• LeNet：LeCun是第一个神经网络模型，在1989年。Lecun的论文点击阅读详细的介绍了什么叫做神经网络等概念。1998年LeCun提出了LeNet。
• AlexNet：2012年ImageNet竞赛中一举夺冠。
• VggNet：参见论文点击阅读
  《Very Deep Convolutional Networks for Large-Scale Image Recognition》。
• GoogleNet：参见论文《Network in network》，《Going Deper with Convolutions》
• ResNet:参加论文《Deep Residual Learning for Image Recognition》

循环神经网络：主要是自然语言处理应用的一种网络模型。在网络中引入了定性循环是的信号从一个神经元到另一个神经元并不会马上消失，而是继续存活。

• 简单的RNN
• LSTM
• GRU
• CW-RNN
• 双向RNN
• 深度双向RNN