一、定义:
人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。
二、经典的神经网络结构
1、残差网络(Residual Networks/ResNet)
2、循环神经网络 (Recurrent Neural Network/RNN)
3、长短期记忆网络(Long Short Term Memory Network/LSTM)
4、卷积神经网络 (Convolutional Neural Network/CNN)
5、反卷积神经网络(Deconvolutional Neural Network/DNN)
6、生成对抗网络(Generative Adversarial Network/GAN)
7、自动编码器(Auto Encoder/AE)
三、神经网络层
与人的神经元之间进行神经冲动的传播形式类似,神经网络也是一个处理单元连接另外一个处理单元,每一个处理单元称为一个层,通过不同种类的层之间相互堆叠,形成了一个完整的、能够实现一定功能的复杂网络。超过三层的非线性神经网络都可以被称为深度神经网络。
四、常用的神经网络层
1、卷积层
负责提取图像中的局部特征
2、全连接层
全连接层的每一个节点都和上一层所有的节点相连,从而把之前提取到的特征综合起来。
3、池化层
用来大幅降低参数量级(降维)
五、神经网络相关术语
1、神经元:
它包括输入信号、加权求和、加偏置项、激活函数、输出信号5个部分,见下图:
神经元模型可以使用以下公式表达,其中输入信号x是一个m维向量,m表示记录的特征数量,向量x各个维度上的分量即对应特征的值。权重w也是一个m维向量,b为偏置项,输出信号y是一个值:
2、多层连接:
大量节点按照不同的层次排布,形成多层的结构连接起来,即称为神经网络。
3、前向计算:
从输入计算输出的过程,顺序从网络前至后。
4、计算图:
以图形化的方式展现神经网络的计算逻辑又称为计算图