10月Datawhale组队学习：Task02：详读西瓜书+南瓜书第3章

       边学习边思考边记录边整理，抱着兴趣浏览，带着问题阅读，做着习题强化，理清教材的思维脉络，争取早日将机器学习知识体系化！

第3章 线性模型

---

---

3.1 基本形式

关键词：

线性模型（linear model）：通过示例的属性的线性组合进行预测的函数

向量形式可以写成

ω和b学得之后，模型就得以确定。

非线性模型（nonlinear model）：在线性模型的基础上通过引入层级结构或高维映射而得。

可解释性（comprehensibility/understandability）：各属性在预测中的重要性得到直观的表达。

3.2 线性回归

关键思路：

最小二乘法（least square method）：均方误差是回归任务中最常用的性能度量，且具有极佳的几何意义，对应着常用的欧氏距离（Euclidean distance）。基于均方误差最小化来进行模型求解的方法即为“最小二乘法”。其物理意义为：找到一条直线，使所有样本到直线上的欧氏距离之和最小。

关键概念：

参数估计（parameter estimation）：求解ω和b使均方差最小化的过程。书上给出的理想情况存在闭式（closed-form）解。一般情况？多元函数求极值问题，理论上可行，假设有m个ω，加上b共有m+1个未知数，通过求导可以确定m+1个等式，故可得闭式解。

多元线性回归（multivariate linear regression）：样本含有多属性，即有多个ω待定。处理多元线性回归问题需要用到矩阵微分公式，见南瓜书3.10。

广义线性回归（generalized linear model）：通过联系函数（link function）令模型预测值逼近y的衍生物。例如：对数线性回归（log-linear regression）中，联系函数为

3.3 对数几率回归

关键思路：

寻找近似单位阶跃函数（unit-step function）的替代函数（surrogate function），利用线性回归模型进行分类任务。以二分类任务为例，其输出标记为二值，而线性回归模型产生的预测值为实值，故需将实值转换为0/1值。

关键方法：

对数几率函数（logistic function）

是一种“Sigmoid函数”，将z值转化为一个接近0或者1的y值，并且其输出值在z=0附近变化很陡。通过对数几率函数实现的模型称为“对数几率回归”。虽然名字是“回归”，但实际是一种分类学习方法。

优点：

1.直接对分类可能性进行建模，无需事先假设数据分布，避免了假设分布不准确带来的问题；

2.不是仅预测出“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用；

模型求解：

通过“极大似然法”（maximum likelihood method）来估计ω和b;

根据凸优化理论，经典的数值优化算法如梯度下降法（gradient descent method）、牛顿法（Newton method）等都可求得其最优解；

3.4 线性判别分析

关键词：

线性判别分析（Linear Discriminant Analysis，LDA）

类内散度矩阵（within-class scatter matrix）

类间散度矩阵（between-class scatter matrix）

广义瑞利商（generalized Rayleigh quotient）