机器学习中的一些基本概念

1，线性回归，logistic（对数几率）回归:
线性回归学习y=wTx+b中的w和b,logistc回归是通过logistic函数y’=f（y）将y映射到（-1,1）的类似阶梯函数，实现二分类，y’值代表从属于某一类的概率。
2，线性判别分析（LDA）和支持向量机：
在二分类问题中LDA目的在于找到一条过原点直线y=wTx（即求解w）,使得训练集中的样本映射到该直线后，同类中的协方差尽可能小，异类的投影点尽可能远（类中心距离尽可能大）。通过定义类内散度矩阵和Sw和类间散度矩阵Sb，问题幻化为最大化Sw和Sb的“广义瑞利熵”J=wTSbw/wTSww
支持向量机：在二分类问题中，超平面y=wTx+b为分类平面，wTxi+b>=1,yi=+1;wTxi+b=-1,yi=-1.其中是的等号成立的点为支持向量，最大化两个异类支持向量到超平面的距离之和。