线性分类Linear Classification

记录一些学习随笔，权且作为基本知识的初步整理

感知器（perceptron）vol.1

我们所学的首个神经网络

类是实现定义好的点所组成的组

分类（classification）可以猜测某一个点所在的类

在学习分类时我们需要解决的2个问题：

1、分类（classifying）：判断出点在decision boundary的哪一边

2、learning：找到分隔出两个类的decision boundary。

在learning完成后，classifier可以对未知点做正确分类。

引入超平面（hyperplane）作分隔用。

向量加一个origin point可以表示一个hyperplane P

若点X属于法向量V和超平面上一点C组成的平面，则有V和X-C的点积为0的性质，类似三维平面。

V是超平面的法向量，C是超平面的原点。

对于点到P的符号距离（signed distance）y，可以表示为y=V（X-C）（两个向量的点积）

因此可以用此来将一个点归类，若距离y大于零归为一类，y小于零归为另一类

引入step函数，将y作为参数，当y为负时step函数输出-1，y为正时step函数输出1。再以该输出z作为分类判断依据。

上述就是一个人工神经元（artificial neuron）的例子。xi作为输入，vi作为偏置权值（bias weight），step函数是传递函数（transfer function）的例子，也可以有其他传递函数如linear和tanh等。 

至此，我们已经解决classification的第一个问题classifying。

下面是neuron learning，即找到合理的v0,v1,...,vn。找到法向量和初始点后可构造出hyperplane。

将由hyperplane分类时产生的错误归类称为Error，

t是点X的应该归到的类，取值为1或-1，z是神经元输出。

以E为准我们找到neuron learning的方法：逐步减小error。

1、随机取数据集里的一点

2、计算该点的error

3、调整v0,...,vn使error降低

4、重复上述步骤

我们用E关于vi的偏导数来表示它们之间的变化关系

取一阶偏导数，再将一阶偏导数乘上经验系数（fudge factor，learning rate），则有

得到完整的Delta rule（一种学习法则）

1、在数据集中随机取点

2、计算该点的E

3、计算

4、更新vi

5、重复执行上述步骤，将更多的点进行正确分类

所取的经验系数足够小，算法可以收敛到期望状态，但不唯一。