边学习边思考边记录边整理,抱着兴趣浏览,带着问题阅读,做着习题强化,理清教材的思维脉络,争取早日将机器学习知识体系化!
第3章 线性模型
3.1 基本形式
关键词:
线性模型(linear model):通过示例的属性的线性组合进行预测的函数
向量形式可以写成
ω和b学得之后,模型就得以确定。
非线性模型(nonlinear model):在线性模型的基础上通过引入层级结构或高维映射而得。
可解释性(comprehensibility/understandability):各属性在预测中的重要性得到直观的表达。
3.2 线性回归
关键思路:
最小二乘法(least square method):均方误差是回归任务中最常用的性能度量,且具有极佳的几何意义,对应着常用的欧氏距离(Euclidean distance)。基于均方误差最小化来进行模型求解的方法即为“最小二乘法”。其物理意义为:找到一条直线,使所有样本到直线上的欧氏距离之和最小。
关键概念:
参数估计(parameter estimation):求解ω和b使均方差最小化的过程。书上给出的理想情况存在闭式(closed-form)解。一般情况?多元函数求极值问题,理论上可行,假设有m个ω,加上b共有m+1个未知数,通过求导可以确定m+1个等式,故可得闭式解。
多元线性回归(multivariate linear regression):样本含有多属性,即有多个ω待定。处理多元线性回归问题需要用到矩阵微分公式,见南瓜书3.10。
广义线性回归(generalized linear model):通过联系函数(link function)令模型预测值逼近y的衍生物。例如:对数线性回归(log-linear regression)中,联系函数为
3.3 对数几率回归
关键思路:
寻找近似单位阶跃函数(unit-step function)的替代函数(surrogate function),利用线性回归模型进行分类任务。以二分类任务为例,其输出标记为二值,而线性回归模型产生的预测值为实值,故需将实值转换为0/1值。
关键方法:
对数几率函数(logistic function)
是一种“Sigmoid函数”,将z值转化为一个接近0或者1的y值,并且其输出值在z=0附近变化很陡。通过对数几率函数实现的模型称为“对数几率回归”。虽然名字是“回归”,但实际是一种分类学习方法。
优点:
1.直接对分类可能性进行建模,无需事先假设数据分布,避免了假设分布不准确带来的问题;
2.不是仅预测出“类别”,而是可得到近似概率预测,这对许多需利用概率辅助决策的任务很有用;
模型求解:
通过“极大似然法”(maximum likelihood method)来估计ω和b;
根据凸优化理论,经典的数值优化算法如梯度下降法(gradient descent method)、牛顿法(Newton method)等都可求得其最优解;
3.4 线性判别分析
关键词:
线性判别分析(Linear Discriminant Analysis,LDA)
类内散度矩阵(within-class scatter matrix)
类间散度矩阵(between-class scatter matrix)
广义瑞利商(generalized Rayleigh quotient)