5003笔记 Statistic Chapter5-Introduction to classification techniques（LR LDA KNN SVM）

p是指分到1的概率，1-p就是分到0的概率。所以Odd ratio就是分到1的概率占分到0的概率的多少倍。Log Odd ratio是一个线性函数，就是线性回归的y。






fk(x) = P(x=x|y=k)，f(x)就是一个概率密度函数。




σ2是方差，我们假设每个K类的方差一样，总方差就是对不同类别的方差加权平均。




当我们遇到等值2分类时，决策边界就是(u1+u2)/2








核心思想：找到一个超平面，将特征空间分开。SVM是直的，线性回归可以是曲线。
SVM一般是做2分类，多分类，需要多个SVM组合。

对于n维空间，需要的超平面是n-1维的。




SVM更好的分离，就要让边界最大



当数据有噪点，线性不可分时。有2种方法，第一种就是放松限制soft margin


Support Vector Classifier 支持向量分类器。
注意公式中的C是一个非负的调整成参数tunning parameter



还有第2个方法，就是扩展空间和核函数。