学习笔记(四) 感知器算法二分类问题(Perceptron） 有待完善。。。。。

1.感知机算法实现与设计

    感知器是一种神经网络模型，是20世纪50年代中期到60年代人们对模拟人脑神经学习分类过程机制的一种称呼，当时有学者认为它是学习能力最强的模型，后来发现估计过高，由于无法实现非线性分类，到60年带中期，从事感知器研究的学者纷纷转移研究方向。但是在发展感知器所获得的一些数学概念，如赏罚(reward-publishment conception)概念仍在模式识别中起着很大的作用

2.感知机学习的准则函数

      对于权向量a,如果某个样本Yk被错分，则aT*Yk<=0,我们可以对所有错分样本求和来表示对错分样本的惩罚，J(a)=(-aT*y),

即y被错分时，aT*y<=0, 此时-aT*y>=0.

当且仅当Jp(a*)=minJp(a*)=0时，a*为解向量

3.梯度下降算法

 原理:

   首先从一个随机选择的权向量a(1)开始，计算其梯度向量∇(J(a)),下一个值由a2,由a1下降最陡的方向移动一段距离得到。通常a(k+1)可以由下面的通式得到：

    a(k+1)=a(k)-k*∇J,

其中k学习率.