线性回归的三个特性: 线性,全局性,数据未加工。打破其中一个特性可以转换成其他算法模型。
属性非线性(特征) 特征转换(多项式回归)
1.线性 全局非线性(输出) 线性分类(激活函数)
系数非线性(参数) 神经网络
2.全局性 输入x分段 决策树
3.数据未加工 降维 PCA,流形
线性分类
硬输出:;感知机,线性判别分析。
软输出:;逻辑回归,高斯判别分析GDA,朴素贝叶斯。
感知机
思想:错误驱动
模型:
loss函数:
算法:SGD
线性判别分析
思想:类内小,类间大
目标函数:,
,
表示各个类别数据在w上的映射之后的均值,
,
表示各个类别数据在w上的映射之后的方差。
逻辑回归
sigmoid 函数:
,
MLE:
可以看出最大化似然估计的就是负的交叉熵:MLE(max) min Cross Entropy
高斯判别分析(GDA)
,生成模型考虑的是联合分布
。
即
GDA假设:先验P(y)满足伯努利分布,似然满足高斯分布。
使用最大似然估计求解:,
,
,
。
;
;
;
朴素贝叶斯
思想:朴素贝叶斯假设 条件独立性假设
最简单的概率图模型