机器学习与智能优化 之 线性模型

要点

针对回归（一个输入输出对集合的线性估计），传统线性模型用最小化线性模型预测值与训练样本间的平方误差和来作为实验数据的最可能的线性拟合。最小化可以“一蹴而就”，利用线性代数来生成矩阵的逆；或者迭代地，渐进优化模型参数来降低误差。求伪逆可能是拟合实验数据用得最多的技术。

在分类中，线性模型的目标是用线/平面/超平面来分离样本。确定一个分离平面可以把输入映射到两类可区分的输出值上（例如 +1和-1），然后再用回归。更高级的寻找鲁棒分离超平面同时考虑泛化能力的技术是将在后续章节中介绍的支持向量机。

真实值在计算机中是不存在的，而它们有限长的估计值可能导致错误和不稳定（样本点的微小扰动可能引起结果大的变化）。

有些机器学习方法与生物脑从经验和功能学习的模式有点关系。学骑自行车不是一个符号逻辑或等价认知的问题而是一个渐进调优并且……从起初的事故中迅速恢复的过程。