![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
X_XZhang
个人网站主页 http://zhangxiao96.github.io
展开
-
机器学习数学原理(4)——朴素贝叶斯算法
机器学习数学原理(4)——朴素贝叶斯模型朴素贝叶斯模型(Naive Bayes Model),是一种基于贝叶斯定理与特征条件独立假设的分类方法,与决策树模型(Decision Tree Model)同为目前使用最广泛的分类模型之一,在各个领域都有广泛的应用,例如我们经常会用到的垃圾邮件的分类功能。这篇博文接上一篇博文:机器学习数学原理(3)——生成型学习算法。但又有其相对的独立性与重要性,故笔者重新原创 2017-04-28 21:37:40 · 1937 阅读 · 0 评论 -
机器学习数学原理(5)——广泛拉格朗日乘子法
这一篇主要讲解了不等式约束下的凸优化问题,即广泛拉格朗日乘子法,为机器学习中的最优间隔分类器和SVM支持向量机算法做铺垫。原创 2017-05-12 09:55:00 · 9708 阅读 · 0 评论 -
机器学习数学原理(2)——广义线性模型
机器学习数学原理(2)——广义线性模型这篇博文主要介绍的是在机器学习中的回归问题以及分类问题中的一个非常具有概括性的模型:广义线性模型(Generalized Linear Models,简称GLMs),这类模型包括了回归问题中的正态分布,也包含了分类问题中的伯努利分布。随着我们的分析我们会发现,广义线性模型不仅可以导出Logistics回归,也可以导出Softmax回归。1.指数族在导出模型之前,原创 2017-04-21 18:20:01 · 2479 阅读 · 0 评论 -
机器学习数学原理(6)——最优间隔分类器
机器学习数学原理(6)——最优间隔分类器这一篇博文主要起一个承上启下的作用,即需要上一篇博文所说的泛化拉格朗日定理方面的知识(建议读者先阅读上一篇博文《机器学习数学原理(5)——广泛拉格朗日乘子法》),同时为下一篇关于SVM支持向量机的博文作铺垫。这一篇博文介绍最优间隔分类器。需要注意的是,本篇所介绍的最优间隔分类器都是建立在线性可分的二分类样本基础上的,对于非线性可分的样本笔者会在下一篇博文SVM原创 2017-05-26 10:14:17 · 1866 阅读 · 0 评论 -
机器学习数学原理(1)——极大似然估计法
机器学习数学原理(1)——极大似然估计法事实上机器学习的大部分算法都是以数理统计和概率论为理论基础构建的。笔者在学习机器学习的过程中,意识到其实机器学习中的很多假设背后都是有着数学原理支撑的,从而使得这些假设不再是“看似合理”。这里笔者便将一些学习过程中的理解整理成一个系列,希望能够在帮助自己整理知识结构体系的同时,也能给大家带来一些帮助。资料参考的是华中科技大学出版社出版由刘次华主编的《概率论与数原创 2017-04-14 23:21:27 · 17280 阅读 · 9 评论 -
机器学习数学原理(7)——SVM支持向量机
机器学习数学原理(7)——SVM支持向量机这篇博文笔者将默认读者已经了解了最优间隔分类器以及泛化拉格朗日乘子法,如果部分读者还不是很了解,我这里给出前面一篇博文的链接《机器学习数学原理(6)——最优间隔分类器》。总之,这篇博文将不会再赘述相关的知识,而是直接给出其结论。由于笔者水平有限,如果读者发现任何不妥或者错误之处,欢迎批评指出。1 简介我们来看看前面最优间隔分类器的前提:线性可分的样本空间。但原创 2017-05-27 17:23:11 · 3137 阅读 · 0 评论 -
机器学习数学原理(3)——生成型学习算法
机器学习数学原理(3)——生成型学习算法在上一篇博文中我们通过广义线性模型导出了针对二分类的Sigmoid回归模型以及针对多项分类的Softmax回归模型,需要说明的是,这两种算法模型都属于判别学习算法,而这篇博文主要分析了与之区别的生成型学习算法。生成型学习算法与判别学习算法虽然在结论上有很多相同的地方(从后面的分析中我们甚至可以发现生成学习算法也可以导出Sigmoid回归模型!),但是他们两者之原创 2017-04-27 17:21:18 · 1515 阅读 · 0 评论 -
机器学习数学原理(8)——霍夫丁不等式
机器学习数学原理(8)——霍夫丁不等式这一篇博文主要是为后面的介绍学习理论(Learning Theory)的博文做铺垫。在学习理论中将会使用到霍夫丁不等式作为其引论之一。当然也可以选择直接接受引论从而跳过这一篇的推导,读者可以根据自己的需求来选择。需要说明的是,该篇博文直接选择翻译英文的文章,如果读者更喜欢原版(显然原版会更加准确,毕竟笔者的英语水平还是有点烂的),这里笔者也给出了资源的链接:ht翻译 2017-06-22 10:44:23 · 46574 阅读 · 1 评论