学习机器学习1

概率诠释两大学派

频率派->统计机器学习
贝叶斯派->概率图模型

李航统计学习方法的十个算法

感k朴决逻
支提E隐条

1. 感知机
2. k近邻
3. 朴素贝叶斯
4. 决策树
5. 逻辑回归与最大熵模型
6. 支持向量机
7. 提升方法
8. EM算法
9. 隐马尔可夫模型
10. 条件随机场

PRML（贝派）

回分神核稀
图混近采连
顺组

1. 线性回归
2. 分类
3. 神经网络
4. 核方法
5. 稀疏卷积
6. 概率图模型
7. 混合模型
8. 近似算法
9. 采样
10. 连续型随机变量
11. 顺序数据
12. 组合模型

记号

X~p(x|θ)

频率派

p(x|θ)中的θ为未知常量，X为随机变量
为此要求出θ，常用最大似然估计MLE

加log是为了简化运算

频率派实际上是优化问题，步骤是：

1. 模型
2. loss function
3. 梯度下降等方法

贝叶斯派

认为θ是随机变量，服从概率分布
θ~p(θ)，p(θ)称为先验

1、
根据贝叶斯定理得到后验概率p(θ|X)：

其中p(X|θ)叫似然

2、
利用参数估计方法MAP（最大后验概率估计）：

如果用贝叶斯估计就硬求积分

3、
得到后验概率后用于贝叶斯预测，即求新数据Xnew在X情况下概率：

实际上由于积分难求，所以贝叶斯本质上就是一个求积分问题。