cyhbrilliant的博客

自组织竞争神经网络一、概述自组织竞争神经网络是一种无监督的学习方法。与之前不同的是，前几节讲述的神经网络都是有标签，并且更新所有权值，但是他们并没有考虑到人体神经元的侧抑制现象，也就是在很多情况下，某一个神经元刺激仅能激活很少一部分神经元而不是所有神经元，这就体现了一种竞争的思想。竞争神经网络每次只更新一个被激活的权值并且没有标签去告诉他应该怎么做，这更像是一种聚类方法。二、网络模型自组织竞争神经网

径向基函数神经网络首先介绍一下网络结构：1.输入层为向量，维度为m，样本个数为n，线性函数为传输函数。2.隐藏层与输入层全连接，层内无连接，隐藏层神经元个数与样本个数相等，也就是n，传输函数为径向基函数。3.输出层为线性输出。理论基础径向基函数神经网络只要隐含层有足够多的隐含层节点，可以逼近任何非线性函数。

BP神经网络前面我们所讲的几节都是线性神经网络，都无法解决线性不可分的问题，今天我们就来学习非常非常经典的非线性多层前向网络——误差反向传播网络（BP——Error Back Propagtion）。BP神经网络和前面所说的线性神经网络有什么区别呢？1.隐含层可以不唯一，这就大大提高了非线性能力。 2.隐含层节点不唯一，也就是一层可以有多节点连接。 3.隐含层的传输函数为sigmoid函数，而非

线性神经网络线性神经网络和单层感知机非常相似，输入层、输出层甚至是误差迭代函数都相同，唯一的区别就是他们的传输函数不同。

前向网络神经网络分为从传播来讲分为两种： 1.前馈神经网络（前向网络） 2.反馈神经网络前向网络没有反馈机制，也就是自能向前传播而不能反向传播来调整权值参数。感知机就属于前向网络。如上图 一个输入层，一个输出层，中间的所有隐层都是向前传播。感知机感知机是美国学者F.Rosenblatt提出的，他对最早提出的MP不一样，他的所有维度 的权值是可以改变的，通过对权值的迭代可以快速的解决线性可分的二分

广义回归神经网络 GRNN（General Regression Neural Network）广义回归神经网络是基于径向基函数神经网络的一种改进。结构分析：可以看出，这个结构与之前我们所讲过的径向基神经网络非常相似，区别就在于多了一层加和层，而去掉了隐含层与输出层的权值连接。

梯度下降法在上一张，我们学习过了LMS算法，就是利用了著名的梯度下降法，但是LMS算法只是一种特殊的实现，是均方差这个特定函数的梯度下降，这次我们来看一下梯度下降对普通函数求极值的一些应用。我们来试一下二次函数的极值点求法。首先我们建立一个二次函数： y=x^2+2*x这个极值大家应该知道 x取-1就可以得到极小值。我们来编写一个梯度下降法来求极值点：x=50;% y=x^2;sigma=0.