1 定义参数
X:数据。N个样本,每个样本P维:参数。
2 频率派
认为为未知的常量,X 为随机变量
目标:估计得到
极大似然估计: =
由此发展出的为统计机器学习,一般是一个优化问题:
建模--->loss function----->具体算法(梯度下降等)
3 贝叶斯派
认为为随机变量,X 为随机变量,
~p(
)先验,服从分布。
目标:求出最大的那个概率分布
由此发展出的为概率图模型,一般是一个求积分问题:
MCMC(蒙特卡洛估计)
贝叶斯定理,将先验和后验结合起来
为后验概率,
为先验概率,
p(x)为在
上的积分=
,当离散时,求累加和即可
贝叶斯估计
最大后验概率估计
当后验概率最大时,认为分母p(x)为一个常数。原问题相当于求解:
=
根据贝叶斯估计可以做什么
预测下一个变量x',使用将老数据与新数据联系起来
p(x'|x)==
4 参考书籍(频率派标红)
李航 统计学习方法
感K朴决逻支提E隐条
感知机--k近邻--朴素贝叶斯--决策树--逻辑回归--支持向量机--提升算法--EM算法--隐马尔科夫模型---条件随机场
周志华 西瓜书
两方面都有。
PRML 模式识别与机器学习
侧重贝叶斯
回分神核稀 图混近采连 顺组
线性回归--分类--神经网络--核方法--稀疏核--概率图模型--混合模型--近似方法---采样方法--联系型变量--顺序数据---组合模型
MLAPP 以概率视角看机器学习
侧重贝叶斯
ESL (elements of static learning)
侧重频率派
deep learning 圣经
5 参考视频
台大 林轩田 机器学习基石,机器学习技法
基石:VC theory, 正则化,线性模型
技法:SVM,决策树,随机森林等传统算法模型,神经网络。。
张志华 机器学习导论, 统计机器学习
机器学习导论:频率派角度
统计机器学习:贝叶斯角度
吴恩达 Ng cs229.斯坦福大学课堂
徐亦达 概率模型
github notes
台大 李宏毅 机器学习,MLDS
参考: