最近接触深度学习,得知神经网络是深度学习的重要算法工具,然后便系统的学习实现了一番,以下便是总结的学习过程
1 概念及来源
1.1 相关概念
人工神经网络 : 通常简称神经网络,是一种在生物神经网络的启发下建立的数据处理模型。神经网络由大量的人工神经元相互连接进行计算,根据外界信息改变自身结构,主要通过调整神经元之间的权值来对输入数据进行建模,最终解决实际问题。神经网络可以看作有向图,在图中节点连接是有方向的,图1-1为单层感知器神经网络
图1-1
其中wi为权值 I 为输入,小原点为神经元,y为输入
1.2 神经网络的特点
3,鲁棒性
局部地区的神经元损坏不会对整个神经网络造成灾难性损伤(除极为重要的神经元除外)
4,并行性
天然的神经元结构可以使其能够在神经元上进行并行计算,同一层神经元上并行计算结果之后汇合至下一层进行处理
1.3 神经网络的应用
1.4 神经网络的分类
神经网络结构中最重要的就是节点和连接权值,根据网络结构的不同可分为向前网络和反馈网络,跟据学习方式不同可以分为有监督学习网络和无监督学习网络
1, 单层感知器
图1.1 所示即为单层感知器,其只包含一层节点是简单的神经网络模型-----属于前向网络
2,线性网络
与单层感知器网络相似,只是神经元传输函数不同-----属于前向网络
3,多层感知器
有多层节点,同时每层不止有一个神经元,是单感知和线性网络的结合 -------属于前向网络
4,径向基函数网络
该每层节点的数据流向由函数决定,可以流向单个节点也可以流向多个节点如图 1-2 --前向网络
图 1-2
5,Hopfiled网络
Hopfile 神经网络模型是一种循环网络模型,从输出到输入有反馈连接。Hopfiled网络有离散型和连续型两种-----属于反馈网络
6, Elman神经网络
7, BP神经网络(最为重要的一种神经网络)
是一种按照误差逆传播的算法训练的多层前馈网络
8,竞争神经网络
将竞争机制引入神经网络
9, 随机神经网络
以随机方式进行工作,节点的兴奋或抑制以随机方式进行
读者不要着急,结下来将会对每种神经网络进行原理性介绍。