单点神经网络（1）：Perceptron模型定义

上一篇博文介绍了离线学习与在线学习的区别。在实际应用中，离线学习常用于回归问题，而在线学习常用于分类问题。之所以有这样的现象，是因为回归问题本身必须对实例的概率分布有一个前提假设，否则也就没有所谓的均方误差。而在分类问题中，虽然我们也假设训练样本中的实例是独立同分布获得的。但是，根据PAC学习保证，我们并不需要确切知道实例的概率分布是什么。

神经网络就是典型的在线学习分类方法。最简单，也是最原始的神经网络是单点神经网络，Rosenblatt于1958年提出的Perceptron模型，如下图。

Perceptron是一个线性模型。神经元的输入为$x_1,x_2,...,x_m$，相应的权重为 w1