1.分类与回归
- 预测的是离散值,则为分类,例如区分好瓜与坏瓜;
- 预测的是连续值,则为回归,例如成熟度为0.59,0.6等;
2.监督学习与无监督学习
- 监督学习:分类和回归任务,训练数据有标记信息;
- 无监督学习:训练数据无标记信息,代表为聚类;
3.误差
- 训练误差(经验误差):学习器在训练集上的误差;
- 泛化误差:在新样本上的误差;
4.最小二乘法
试图找到一条直线,使所有样本到直线上的欧式距离之和最小;
5.线性判别分析(LDA)
同类样例在线上的投影点尽可能接近,异类样例投影点尽可能远离。
6.最大似然估计
在给定观测数据的情况下,寻找一组参数,使得这组参数下观测数据出现的概率最大。
1.定义似然函数;2.取对数;
3.求导并置导数为0;4.进行验证;
7.决策树
- ID3算法取决于信息增益来划分决策树;
- 决策树的思路在于分而治之;
8.支持向量机
最大化异类支持向量到超平面的距离,从而用于分类;
9.贝叶斯分类器
对于给定的待分类样本,计算它属于每个类别的后验概率,然后将样本分类到后验概率最大的那个类别中。
10.k近邻
- 在分类任务中,采用投票法作为最终的预测结果;
- 在回归任务中,采用均值法来作为最终的度量结果;
11.主成分分析
对样本进行中心化降维处理,并对协方差矩阵做特征值分解,取最大的前λ个特征值对应的特征向量。