- 我们常常需要将数值变量正规化(normalize)
- 线性分类器直观的理解是属性值的加权和(weightedsum)
- 模型比较
- Support Vector Machine
- Linearregression
- logisticsregression
共同点:都是拟合一个线性模型
不同点:使用不同的目标函数(CostFunction /LossFunction)并最优化该目标函数(optimization)
- 直观地理解SVM(支撑向量机)
- 两个类别之间最宽的条带
- 线性分界就是中间的线
- 目标是最大化边界(Margin)
- 边界大了可以给样本点更多的空间(leeway)
- SVM是在最大边界和较低的错误惩罚之间权衡
- SVM分类器不一定要将每一个点都分对(有容错性)
- 比较分类树(classificationtree)和线性分类器(linearclassifier)
- 分界面的区别
Classificationtree | Linearclassifier |
属性使用方式的区别
- 分类树每次使用一个属性
- 线性分类器是所有属性的加权组合
、
- 逻辑斯蒂回归函数的推导(sigmoid function)
-
Probability
Odds
Log-odds
0.5
50:50 or 1
0
0.9
90:10 or 9
2.19
0.999
999:1 or 999
6.9
0.01
1:99 or 0.0101
–4.6
0.001
1:999 or 0.001001
–6.9
- 基于上述表格我们可以进行逆过程