Day3

神经网络说明性的实例
现给出传感器能检测水果的三种特征：
形状传感器：近似圆形，形状传感器输出1，近似椭圆，形状传感器输出-1.
纹理传感器：光滑时输出1，粗糙时输出-1
重量传感器：大于等于一磅输出1，小于一磅输出-1
所以当水果通过传感器时，能够被表示成一个三维向量p=[形状 纹理 重量]T.
例如一个 标准的橘子P1=【1 -1 -1】T，P2=一个标准的苹果【1 1 -1】
以上就是一个简单的模式识别
然后就是感知机网络：
这个问题明显需要三个输入的感知机，但在此之前可以先研究两个输入一个神经元的案例，单神经元的感知机能够把输入向量分为两类，如果w1,1=-1,w1,2=1,那么a=hardlim(n)=hardlim([-1 1]p+b),如果权值矩阵和输入向量的内积大于或等于-b，则感知机输出为1，内积小于-b，则感知机输出为-1，这样就将输入空间划分为两个部分
决策边界总是正交于权值矩阵，并且边界的位置会随着b的改变发生移动，且W的每一行都有一个决策边界
决策边界由以下公式得出 WP+b=0,因此决策边界必须是线性的，所以单层感知机用于识别一些线性可行（能够被一个线性的边界区分）的模式
a=hardlim[[w1,1 w1,2 w1,3][p1 p2 p3]T+b]
现在需要选择恰当的偏置值和权值矩阵的元素，使得感知机能够区分苹果和橘子
，比如如果苹果作为输入，则希望感知机输出1，当橘子作为输入时，则希望感知机的
输出是-1，我们注意到输入向量是三维的，所以决策边界也可以由一个平面来给出，决策边界也即是P1W+b=-1,P2W+b=1,能看出两者x,z方向向量相同，y不同，所以决策边界便由xoz平面给出
也即是W=【0 1 0】，b=0;
得出了决策边界之后，那么如果遇到并不是很标准的橘子是，例如椭圆形的【-1 -1 -1】T，可计算输出也是-1=橘子，所以相对于苹果的标准向量，任何更接近橘子的标准向量的输入向量（按照欧式距离计算）都会被分类成橘子。
Hamming网络：
刚才已经学习了模式识别的实例，而Hamming网络的目的是判断哪个标准向量更加接近输入向量，判断结果由回复层的输出表示。网络有两层，包括前馈层和回复层
前馈层：用于计算每个标准模式和输入模式之间的相关性或内积，为了达到计算相关性的目的，本层中权值矩阵用连接矩阵W1来表示，W1=【P1T P2T】T=【1 -1 -1
1 1 -1】其中P1 ,P2分别代表的还是刚才橘子和苹果的属性向量，表示着该矩阵的每一行都设置为一个标准模式,前馈层中使用线性传输函数，偏置向量中的每一个元素都等于R，其中R等于输入向量中元素的个数都等于R，其中R等于输入向量元素的个数。在本实例内偏置向量为b1=【3 3】T，通过选择权值矩阵和偏置向量，前馈层的输出为
a1=W1p+b1:前馈层的输出等于每个标准模式和输入向量的内积加上R，对于两个范数相同的向量而言，方向相同时内积最大，方向相反内积最小，加上R保证前馈层输出为正
两个向量的Hamming距离等于向量中不同元素的个数，仅针对二值向量定义（二值向量的类似于0为false，1为true这样的定义，两个单位向量u，v内积为1则为1，ne（not equal）则为0）
回复层：回复层就是所谓的竞争层，回复层神经元的初始向量时前馈层的输出，输出代表着标准模式和输入向量的相关性，该层的神经元相互竞争，仅有一个神经元输出非零，而获胜的神经元代表了网络输入的类别。
a2(0)=a1
a2(t+1)=poslim(W2a2(t)),当输入值为正时，poslin传输函数为线性函数，输入值为负的时候，取值为0，，然后给出权值矩阵，使得W2a平方（t)=矩阵两行分别是a平方1（t）-系数*a平方2（t）这种形式，其目的是为了让向量中每一个元素都要等同比例地去减去另一个元素的一部分。值较大的减幅小一些，小的减幅大一些，注意系数是小于1/(S-1)的数，S是神经元数量，当属除了非零值那么就选择该标准模式作为正确的结果（其他的为零）