![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 63
Johnny_Cuii
May all kind hearts be gently treated
展开
-
Adaboost
这个是周志华老师的机器学习书里面的公式,表明如果基础分类器是弱分类器的 情况下,集成之后效果的效果会更好,因为我们从公式中可以看到,基分类器的数目T增长的时候,错误率是指数级下降的。 这个公式是怎么来的呢? 这个是周志华老师机器学习里的课后习题,现在咱们就来证明一下 到此我们对集成的直观理解是,如果我们有很多基分类器,他们之间独立,让他们各自预测之后,通过投票产生结果,如果数量足够多,那我们正确原创 2017-11-03 18:50:38 · 381 阅读 · 0 评论 -
机器学习-高斯模型
高斯模型的公式推导过程 通过学习线性模型之后,我们会有这样的疑问,如果现实中实例,他的分布不是线性模型的话怎么办?事实上,现实中很多实例他并不是服从线性关系。 比如智商分布图 对于这样的问题,很显然我们依然用线性模型的话是不合适的。 由此,我们引入高斯模型。高斯模型即是我们所熟悉的正太分布。在使用这一模型的前提条件是,我们假设 在不同的测试数据中,误差变量是 独立同分布的,我们通常情况下原创 2017-05-02 15:11:01 · 8939 阅读 · 1 评论 -
机器学习-广义线性模型GLM
广义线性模型的公式: 在学习广义线性模型的时候,会有这样的疑问,为什么我们要把逻辑回归,高斯分布模型都转化成广义线性模型,再来计算似然值呢? 我目前的理解是:不是说要转化成广义线性模型,而是他们是特殊的广义线性模型 比如,在逻辑回归中,我们对logistic function的定义,觉得莫名其妙,但是在广义线性模型中,我们能够看到如下 可以得出 以上是我们对广义模型的介绍。 在这原创 2017-05-03 01:24:28 · 1829 阅读 · 0 评论 -
高斯判别分析模型The Gaussian Discriminant Analysis model
高斯判别模型,内容其实非常简单 对于大多数模型,无非就是做这么几件事情 1.假设模型 2.设定参数,表示概率 3.用最大似然,通过样本算出参数 4.用得到的参数,再去测试数据里计算概率高斯模型判别是是这样,因为是判别吗,所以我们就把判别结果用0,1两种结果来表示,这样自然就想到要用伯努利。 高斯模型第二个假设是,我们认为对应两种判别结果分布于两种标准正态高斯模型。 举个例子: 比原创 2017-05-07 01:15:29 · 2850 阅读 · 1 评论 -
朴素贝叶斯文本分类应用
在这里介绍两种分类应用。分别Multivariate Bernouli Even Model多元伯努利事件模型 和 Mutinomial Event Model多项式事件模型 由简单到复杂原则,先搞 多元伯努利!多元伯努利的思想是,按照训练数据,我们建立一个vocabulary,这个vocabulary 相当于一个向量,我们遍历一个邮件的文字的时候,出现的word,都会在相应的vocabulary原创 2017-05-07 17:48:48 · 1066 阅读 · 0 评论 -
SVM算法原理(1)
这个是机器学习中接触支持来向量的时候,首先接触的是知识。 主要思想是,我们对于样本二分类,我们希望找到这样一个平面(超平面):样本的 geometric margin 最大的,其实就是在样本中离超平面的最近的点,然后使得这个最近的点的 geometric margin 最大。首先我们需要明白一些概念。function margin and geometric margin ,what is原创 2017-05-13 17:02:53 · 411 阅读 · 0 评论 -
SVM算法原理(2)
接着上面的博客,开始之前,我们需要有这样的预备知识。 拉格朗日对偶(Lagrange duality) 先来看看这样一个问题 这样一个在约束条件下求极限的问题,我们在高数上是学过的,但是高数里我们接触的比较多的是不带等号的,比如: 这种情况下怎么求大家都会,现在来研究下不带等号的情况下怎么求最大值,其实用大学的知识也可以做,但是肯定比较麻烦。而今天要解决的就是用比较简单的方法,我们伟原创 2017-05-15 00:06:15 · 442 阅读 · 0 评论 -
SVM算法原理(3)
接着上一篇的内容,我们最终是定格在 在这个式子里我们需要找到让式子达到最大的值,我们现在就来探讨一下,是如何做到去最大值呢? 首先为了更好地衔接,回顾一下前面的知识,我们是如何走到这个式子的! 我们用了拉格朗对偶问题,把对min f(w)问题转化成 max w(a)的问题. 而式子中没有w是运用KKT条件中,对w求导等于0得到关于a的表达式,然后然代入原来的式子。之所以符合KKT条件,这个原创 2017-05-19 22:14:49 · 412 阅读 · 0 评论 -
机器学习 核函数
提到SVM,就不可避免提到核函数。这篇博客中,介绍一下核函数的基本概念。 核函数实现算法非常简单 到这里,我们还需要回顾一下,前面的知识,还记得我们在前面optimal margin classier博客中,最终要优化的式子 这里面是不是就有xi,xj的内机啊,那我们核函数是干啥的呢? 就是把这些内机式子 变成很函数,而函数的值代表的意义是高维数组之间的内积。我们在这里讨论一下原创 2017-05-20 00:08:29 · 389 阅读 · 0 评论 -
机器学习 - 非线性划分-软间隔
到目前为止,我们已经基本把SVM都学习了一遍,但是有一个问题就是,我们在SVM中是假设数据可以线性划分,但是如果不能线性划分呢? 那你可能说,我们把他映射到更高维的空间,这种方法确实可行,但是不可避免会带来的问题是,过于依赖数据,以至于收到极端值的影响大,为了解决这个问题,我们就引进来的软间隔的概念 如图,因为极端值的影响,会使得我们的超平面发生变化。我们使用软间隔的意义就是 使得不满足约束条原创 2017-05-20 00:33:46 · 625 阅读 · 0 评论 -
机器学习 —误差理论
学习误差理论,会让我一肚子疑惑,学完了之后不知道怎么用。按照目前的理解是,这就是理论,知道有这样的性质,就像我们学高数的时候,一个个公式,我们知道有这么回事就OK了。这部分内容对以后算法调试会奠定理论基础,多读书总是好的!开始正式内容 最主要的两个概念偏差和方差 方差都知道,现在来说说什么是偏差 这个图是我们针对样本进行的拟合的效果,其中图1,我们是用线性拟合,图中我们能看到拟合效果很弱,这个原创 2017-05-23 03:10:06 · 3292 阅读 · 0 评论 -
机器学习-特征选择
在此前做过文本分类的算法,其中特征长度是1万7多个,样本是1000个,但是做过文本分类的童鞋都知道,如此长的特征使得文本分类非常慢,一般都是去进行特征选择,而我因为当时不懂,所以也就没有做优化。 接下来,正式介绍一下特征选择。 首先,我们先来谈谈理论基础。从上一篇关于VC维的介绍中,我们知道,VC维他是和样本数量m是成正比的,而我们特征个数如果非常大,那我们的VC维就很可能很大,我们有理由相信,原创 2017-05-23 22:39:51 · 1641 阅读 · 0 评论 -
机器学习:混合高斯模型和EM算法
这篇博客里,我们来介绍混合高斯模型和EM算法,也标志着进入到无监督学习新的篇章。EM算法会在混合模型里有应用。(其实之前还有一个k-means算法,但是这个算法比较简单,就不在博客里介绍了) 我们首先来介绍 EM算法的推导,然后介绍在混合高斯模型中的应用。 EM算法 EM算法大概的思路就是,对于没有标注的数据,我们会假设一个数据,然后通过不断地迭代,让我们假设的数据不断地趋近于正确的值。是不原创 2017-06-02 01:48:17 · 1241 阅读 · 1 评论 -
机器学习:Factor analysis因子分析
这部分内容还是挺奇怪的,学生的时候感觉不难啊,但是把复盘的时候,总是各种难以明说的困惑,不知道是不是因为戒烟,注意力不够专注,总之,学的不是很容易。说归来因子分析,解决的是维度高,样本不足的情况下,模型建立的问题。我们之前讲的混合高斯模型里都是维度数远小于样本数的情况,如果维度是远大于样本数的话,我们仍然用以前的方法建立混合高斯模型会遇到问题,因为在这种情况,协方差会等于0,也就是说我们无法表原创 2017-06-07 01:58:15 · 9393 阅读 · 2 评论 -
机器学习线性回归中,用矩阵求导方法求最小二乘法的方法
在我们推导最小二乘法的时候,Andrew提供了两种方法,一个是梯度下降法则,另一个是矩阵求导法则。后来在《机器学习实战里》面看线性回归代码的时候,里面就是用了矩阵求导法则。要看懂矩阵求导法则,是需要一些矩阵论的知识的,还记得今年夏天我在苦逼地到处求矩阵论地速成资料,还真让我找到了,名字叫《matrix+vector+derivatives+for+machine+learning》,这本书我已经上传原创 2017-10-12 09:53:43 · 2755 阅读 · 1 评论 -
机器学习 逻辑回归
机器学习 逻辑回归 这里所写的是逻辑0,1分类的问题,即二分法。 与线性回归的 least square不同的是,逻辑回归对概率进行假设。 由于概率是在0,1之间 借助于公式 这个函数的名称为logistic function 因为这个函数的上限和下限就是在0,1之间,函数曲线如图 其实我们观察这个图的话,发现很像正太分布函数的F(x)函数图。 一个需要考虑的问题是:我们什么原创 2017-05-02 13:50:39 · 559 阅读 · 1 评论