这篇文章主要记录一下一直困扰着自己的一些机器学习基础问题
1.线性模型和非线性模型、
下面一段引用自知乎 https://zhuanlan.zhihu.com/p/37866896
- 线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如 模型;
- 区分是否为线性模型,主要是看一个乘法式子中自变量 前的系数 ,应该是说x只被一个影响,那么此模型为线性模型。或者判断决策边界是否是线性的;
- 举例: ,画出 和 是曲线关系,但是它是线性模型,因为 中可以观察到 只被一个 影响;此模型是非线性模型,观察到 不仅仅被参数 影响,还被 影响,如果自变量x被两个以上的参数影响,那么此模型是非线性的;
4 其实最简单判别一个模型是否为线性的,只需要判别决策边界是否是直线,也就是是否能用一条直线来划分;
2.二分类和多分类
现实中经常会遇到多分类任务,有些二分类学习方法可以直接推广到多分类,但在更多情形我们是基于一些基本策略,利用二分类学习器来解决多分类问题
“拆解法”
将多分类任务拆成若干个二分类任务,每个二分类训练出一个学习器(训练过程)
测试时,对这些问题的预测结果进行集成(测试过程)
分类:
一对一(OvO)
一对其余(OvR)
多对多(MvM)
OvO:
将一个N分类问题拆解成N(N-1)/2个二分类问题进行训练,测试时进行投票
OvR:
将一个N分类问题拆解成N个二分类问题,测试时分两种情况,如果只有一个判出,则正常,如果有多个判出,则根据置信度等进行选择
MvM:
有一个判出,则正常,如果有多个判出,则根据置信度等进行选择
MvM:
EOOC纠错输出码。