非线性分类
概述
线形扩展
- 线形扩展模型: g ( x ) = w T φ ( x ) + b g(x) = w^T\varphi(x)+b g(x)=wTφ(x)+b
- 核函数方法: g ( x ) = w T k ( x 1 , x 2 ) + b g(x) = w^Tk(x_1, x_2)+b g(x)=wTk(x1,x2)+b
决策树
- 决策树学习的损失函数通常是正则化的极大似然函数
- 策略:以损失函数为目标函数最小化
决策树的生成
ID3
方法:计算每个属性的信息增益值,选择信息增益值最大的特征;
- g ( D i , A i ) = H ( D i ) − H ( D i ∣ A i ) g(D_i, A_i) = H(D_i) - H(D_i|A_i) g(Di,Ai)=H(Di)−H(D</