人工智能 深度学习（一）

一．全连接神经网络

全连接神经网络是具有多层感知器的的网络，也就是多层神经元的网络。层与层之间需要包括一个非线性激活函数，需要有一个对输入和输出都隐藏的层，还需要保持高度的连通性，由网络的突触权重决定。

W:权置

b:偏置

sigmoid函数：

 

tanh函数：

 

Relu函数：

 

二．卷积神经网络

卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征

softmax函数：

 

三．循环神经网络

循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势 [4]  。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convolutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。