机器学习基础（2）----When can machines learn

一、Perceptron Hypothesis Set

x：多维向量（使用者的特点features）
对每个维度进行打分，计算加权值 （>threshold(门槛、临界值) — approve）
（<threshold — deny）
y：{+1（good），-1（bad）}，0 ignored

——以上的操作过程h(x)称为感知器perceptron（神经元），在几何中体现为linear classifiers(线性分类器)

对h(x)进行处理，将threshold符号化处理，使h(x)变成一个“高高的”向量，包含原来的dataSet和threshold经过处理之后的第0维（–截距）。

二、PLA

select g from H：先从一个初始的g0出发，根据D不断地对他进行旋转修正，直到“最好”
（PLA：除了叫People’s Liberation Army of China，还叫Perceptron Learning Algorithm）
A fault confessed is half redressed.
Cyclic PLA (绕一圈去检查错误，遇到错误就用上述方法修正他)

三、Linear Separability

PLA会停下来，最多经过R²/ρ²（R是资料的长度，ρ是经过Wf算出来的），但是实际上Wf是一个未知的函数，所以如果资料根本不是线性的，那么PLA是否能停下来是不一定的。

四、Non-Separable Data

modify PLA —放弃“最优”，选择 “满意”
当D不是线性可分的集合时，可以选择一种贪心算法（—pocket），找到新的线和自己目前已有的线作比较，保留较好的一条线。（！PLA只能用于线性可分集合！）
（when does it stop? 跑到觉得还不错时候手动停止）

pocket on D is slower than PLA ----计算何者更好需要花费时间