林轩田机器学习基石笔记2：PLA算法

（注：笔者仍处于学习阶段，博客也是刚开始写，如有任何问题欢迎指正！）

0. 机器学习简述

机器学习的目的是通过假设函数g去近似目标函数f的过程。用一张图表示就是：

• 目标函数f：从特征向量$X$映射到标签y的函数。
• 训练集$D$：一共有N个样本(我更喜欢用m表示样本数量)，每个样本的$X$特征，y为标签。
• 学习算法$A$：机器学习要做的部分，训练假设函数g近似目标函数f。
• 假设函数$g$：我们通过机器学习训练出的函数。

1. 线性分类器

简单地说，线性分类器就是我们训练出来的假设函数g是线性的。

$$g: h(x) =sign( \sum\limits_{n=1}^Nw_ix_i )$$
or 矩阵写法
$$g: h(x) = sign(W^TX)$$
两个式子表示的意思是一样的，其中