深度学习------神经网络（CNN、RNN）和激活函数（sigmoid、tanh、relu、softmax）

1.NN(神经网络)

单个感知器的表达能力有限，它只能表达线性决策面（超平面）。如果我们把众多的感知器互联起来，就像人的大脑所做的那样，再将激活函数更换为非线性函数，我们就可以表达种类繁多的非线性曲面。

2.CNN(卷积神经网络)

卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理;二维卷积神经网络常应用于图像类文本的识别;三维卷积神经网络主要应用于医学图像以及视频类数据识别。

卷积层(Convolution layer)：提取图像特征
池化层(Pooling Layer)：改变图像大小
全连接层(Fully Connected Network)：作分类器使用

3.RNN

神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等

4. 结构化和非