西瓜书学习第三章

对于这章主要学习了线性模型、多元线性回归、对数几率回归（逻辑回归）、LDA线性判定

以下是自己听课学习公式推导笔记

线性模型

均方误差是回归任务中最常用 的性能度量，因此我们可以让均方误差最小化，基于均方误差最小化来进行模型求解成为最小二乘法，E(w,b）分别对w,b求偏导，为了便于计算将得到的公式形式进行向量化，避免for循环

对数几率回归

对数几率回归也常为逻辑回归，成为回归，却是分类模型，（预测正样本 负样本的概率，）

里面学习到了关于信息熵、相对熵、交叉熵

信息熵主要是用来度量随机变量X的不确定性，信息熵越大，越不确定，

相对熵（KL散度）：度量两个分布的差异，用来度量理想分布P（x）和模拟分布q(x)分布之间的差异

从机器学习三要素中‘策略’角度来说，与理想分布最接近的模拟分布即为最优分布，因此可以通过最小化相对熵策略等价于最小化交叉熵

线性判别分析（LDA）---这个目前缺的只是有点多，还不能很好的理解，好药继续好好消化进行补充

类别不平衡：是指分类任务中不同类别的训练样本差别很大。