类似于人脑的一种神经递质,有一个信号经过一系列传到有一个输出(单线)。既然是网络,应该就是一堆上述带有输入输出的线构成的网络吧。
reference:
一文看懂四种基本的神经网络架构www.jianshu.com![f8e76d59707d7c92b608b1796e084ba6.png](https://i-blog.csdnimg.cn/blog_migrate/ca23739b671b3b5683a6569bf676702c.png)
基本三大类架构:
前馈神经网络:第一层输入,最后一层输出。中间为隐藏层。内部链接是非线性函数。
循环网络:定向循环,按照箭头指示。input-> hidden->output 全连接,但是每层节点无连接(独立);
循环神经网络(递归): 节点之间有关联。
对称神经网络:个单元之间连接对称(两方向上权重相等)。有隐藏层的叫Hopfield, 无隐藏藏层的叫玻尔兹曼机。
神经网络分类:
- 卷积神经网络CNN:
构成(层): 卷积(提取特征),池化(降维减少参数),全连接(通过链接得到结果)。
主要用途:模式识别(语音,像素,情景,人脸),p图,自动驾驶,定位,分割。
特点:有特征提取器(卷积层+子采样层pooling[常用有均值采样和最大值采样 ]),将大量图片进行降维,压缩成小数据量,且有效保存特征(即便是倒置,反转镜像,也能识别)。
优点: 通过卷积减少网络之间的链接(减少参数),防止过拟合。
2. 递归神经网络RNN(循环, 输入层之间有联系!):
结构模式:将每一次的训练结果带到下一个隐藏层中。
主要用途:预测(根据已有信息, 有条件,非独立), 文本填空, 机器翻译,语音识别。
特点:可处理任何长度序列,且隐藏层内部有链接(每个节点都和隐藏层的每个节点有链接)。
问题:结果层临近的几个隐藏层对结果的权重影响较大,(短期记忆问题,因而长输入序列无法有效处理,可能会忘了初始的几层),而且训练成本也挺大。
解决办法:
长短期记忆网络: LSTM (只保留重要信息)
LSTM进化升级产生了Gate Recurrent Unit (GRU) 保留重要信息,在长期传播也不丢失,简化节省了大量数据集的训练。
3. 深度信念(DBN):
主要用途:协同滤波、分类、降维、图像检索、信息检索、语言处理、自动语音识别、时间序列建模、文档分类、非线性嵌入学习、暂态数据模型学习和信号与信息处理等任务。(百度百科)
特点: 概率生成模型,考虑了联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估。given 的条件是observation, 已知观察值,定义标签。有点类似于似然和条件概率。逐层训练。
优点:考虑内部连接关系,(联合分布,耦合,高阶相关性)与传统相比,避免误差累积传递过长。
*(区别于) 受限玻尔兹曼机RBM: 通过输入数据集学习概率分布的随机生成神经网络。一种拓扑结构,有高阶相互作用。 BM是对称耦合的随机反馈型二值单元神经网络,通过权值表达单元的相关性。无输出层,只是通过模型学习数据内部关系,而且无定向(单向不可逆),是双向全连接。受限的意思就是收到了二分(显层和隐层)的限制。层级之间有链接,但是单元无连接。
4. 生成对抗网络:无监督
构成:生成器generator (常见为通过机器自动生成的图像) + 判别器 discriminator(判断该图像是生成的还是真实的)
步骤:
1. 确定判别器的指标(或判别式)【制定规则标准】; 生成器训练,训练的目的是【迷惑判别器】,不让判别器识别出来它是自动生成的伪图像。(也算是变相检验判别器的规则)
2. 接着确定生成器,开始训练判别器。
3. 循环上述两步,使得机器生成的图像逼真。
主要用途:生成逼真图像(锐度高,清晰),修复老照片。
优点: 可以训练任意生成器; 无需马尔科夫反复采样,无需推断,避开复杂概率计算。
问题: 不稳定,难收敛训练;模式缺失,不能继续学习。