[台大机器学习笔记整理]perceptron learning algorithm

Machine Learning的基本模型是


A takes D and H to get g


其中A是Algorithm,D是Data,H是Hypothesis,g是goal


其总体的运行结构如图所示






接下来以最简单的感知器举例说明


感知器模型


最简单的二分线性感知器，由各维度乘以其权重，相加后，得到的结果与阈值进行比较，并得出结论。


用公式描述，则是如下：




在这里我们将与阈值比较的这一过程直接放在了算式中，得到结果后判断结果与0的大小关系即可


将以上式子向量化，可以得到
h(x)=sign(w.T*x)


在这里，上面的式子即是Hypothesis,是我们用于模拟实际情况的一个假设模型。


感知器学习算法(Perceptron Learning Algorithm)


容易看到，一个假设一般有参数（如上面式子中的w）供我们进行调整，这样我们能根据Data对其进行调整，最后得到一个尽可能接近实际的映射(f)的一个映射关系g。
既然是machine learning，那么调整这一步当然是交给machine了。machine如何到达这一目的的方式，就是我们需要的learning algorithm。


用最简单的输入两个维度的perceptron(Hypothesis: h(x)=sign(w1x1+w2x2+w0))进行举例




如果令x1,x2为坐标轴，f(x)（即实际结果）以o或x的形式表现，那么我们需要的learning algorithm应该可以找到一条直线，像右图一样将两种结果分开，即一边为正，一边为负。右图中的分割直线可以认为f(x)，即理想的映射关系。

如果我们需要得到一个近似于f的映射关系g，那么g首先应该能将我们手上的数据集中的数据准确的分开。

在这里采用的办法是使用一个随机的g0作为起始ÿ