机器学习（西瓜书）要点随笔

1.分类与回归

• 预测的是离散值，则为分类，例如区分好瓜与坏瓜；
• 预测的是连续值，则为回归，例如成熟度为0.59，0.6等；

2.监督学习与无监督学习

• 监督学习：分类和回归任务，训练数据有标记信息；
• 无监督学习：训练数据无标记信息，代表为聚类；

3.误差

• 训练误差（经验误差）：学习器在训练集上的误差；
• 泛化误差：在新样本上的误差；

4.最小二乘法

试图找到一条直线，使所有样本到直线上的欧式距离之和最小；

5.线性判别分析（LDA）

同类样例在线上的投影点尽可能接近，异类样例投影点尽可能远离。

6.最大似然估计

在给定观测数据的情况下，寻找一组参数，使得这组参数下观测数据出现的概率最大。

1.定义似然函数；2.取对数；

3.求导并置导数为0；4.进行验证；

7.决策树

• ID3算法取决于信息增益来划分决策树；
• 决策树的思路在于分而治之；

8.支持向量机

最大化异类支持向量到超平面的距离，从而用于分类；

9.贝叶斯分类器

对于给定的待分类样本，计算它属于每个类别的后验概率，然后将样本分类到后验概率最大的那个类别中。

10.k近邻

• 在分类任务中，采用投票法作为最终的预测结果；
• 在回归任务中，采用均值法来作为最终的度量结果；

11.主成分分析

对样本进行中心化降维处理，并对协方差矩阵做特征值分解，取最大的前λ个特征值对应的特征向量。