【学习笔记】斯坦福大学公开课（机器学习）题外篇：感知机学习算法

我们考虑把逻辑斯蒂回归中，模型的输出严格固定为1或者0，即把$g(z)$（逻辑函数）改写为阈函数：

$$g(z)=\begin{cases} 1& z \geq 0\\ 0& z<0\\ \end{cases}$$
我们让假设函数 $h_\theta(x)=g(\theta^Tx)$，根据之前的算法，我们把参数更新方法写为：
$$\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}$$
这就是感知机学习算法。
在1960年代，这个“感知机”被认为是人类大脑中神经元的粗略模型，现在了解了这个算法很简单，这在后面介绍学习原理也会提到这个算法。需要注意的是，虽然这个算法从形式上，跟线性回归和逻辑斯蒂回归都比较相似，但是它跟那些算法完全是不同的类型。尤其是在预测感知机的方面，用概率解释或者用最大似然估计算法都很难对感知机进行预测。