![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法总结
秦刚刚
热衷于算法的秦刚刚
展开
-
秦刚刚的机器学习成长之路之决策树总结
决策树之分类树和回归树本文主要讲解最常用的3种决策树(ID、C4.5和CART),为了更加系统和全面的认识这3种常用的决策树算法,我将从以下4个部分进行讲解:1.决策树学习算法步骤有哪些?2.常用的决策树算法有哪几种?3.决策树剪枝4.Gini指数与熵的关系1.决策树学习算法步骤有哪些?决策树学习算法通常包括以下3个步骤:特征选择选取对训练数据具有分类能力的特征。换句话说,特...原创 2018-12-25 17:23:00 · 529 阅读 · 1 评论 -
信息熵公式的来源
信息熵公式的来源之所以会写这篇博客,是因为在上一篇博客:秦刚刚的机器学习成长之路之决策树总结https://blog.csdn.net/yzcjwddbdgg/article/details/85251353中,决策树在进行特征选择的时候用到了信息增益和信息增益比,这两者的本质就是信息熵公式。在网上看了很多相关讲解,我个人觉得通过以下几篇文章就能很好的弄清楚这一问题:http...转载 2018-12-26 10:29:02 · 1167 阅读 · 0 评论 -
秦刚刚的机器学习成长之路之SVM原理(SMO算法详解)
SMO算法详解(Sequential Minimal Optimization)写作背景:最近在学SVM算法,在看了一些资料后,发现:很多书籍(例如:《机器学习》)或资料在讲解SVM算法时,都只是讲到了为了计算方便,可以将SVM算法需要求解的原始问题转化为它的对偶问题,然后使用SMO算法求解对偶问题,但是却没有详细解释SMO算法的具体解法。在我苦恼之际,实验室师兄分享给我一篇讲得很好的博客,因此...原创 2019-01-11 15:52:48 · 1183 阅读 · 4 评论 -
秦刚刚的机器学习成长之路之高斯核函数为什么能将原始空间映射为无穷维空间(核函数)
写作背景:很多时候数据在低维空间的时候很难将它们区别开来,所以需要借助核函数将其映射到高维空间中,例如谱聚类,SVM等算法。但是一开始,这其中的原理很多人不知道(例如我啦,哈哈哈),因此有了这篇简单的文章_1.核函数的作用及意义低维计算,高维表现2.高斯核函数为什么能将原始空间映射为无穷维空间?思路:从泰勒展开式的角度来解释,如下:exe^xex的泰勒展开式为:(1)ex=1+x+x2...原创 2019-01-11 22:41:19 · 2277 阅读 · 1 评论 -
秦刚刚的机器学习成长之路之感知机VS支持向量机
写作背景:前段时间看了李航的《统计学习与分析》这本书,受益良多。刚开始一味地以手写的形式记录下来,但是后来觉得这样既不环保也不利于随时查看,因此觉得有必要写成博客与大家分享与讨论。1.感知机感知机是二类分类的线性模型,其目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面,如下图所示(L1,L2和L3都可以作为分离超平面): 感知器模型为:f(x)=sign(w⋅x+...原创 2019-01-13 18:11:34 · 571 阅读 · 0 评论 -
秦刚刚的机器学习成长之路之朴素贝叶斯法
写作背景:为了对所学知识进行一个总结,写下了秦刚刚的机器学习成长之路系列。欢迎大家的批评和指正^^本文主要分五个部分来对朴素贝叶斯进行一个循序渐进的讲解贝叶斯定理特征条件独立假设朴素贝叶斯估计法的参数估计总结注意: 在学习与朴素贝叶斯相关的东西时,一定要时刻清楚朴素贝叶斯的前提是假设属性相互独立!!!1. 贝叶斯定理贝叶斯定理是一种在已知其他概率的情况下求概率的方法。概率论与...原创 2019-02-18 18:30:40 · 696 阅读 · 0 评论 -
机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
相信大家在学习K折交叉验证方法(KKK-fold Cross-Validation)的时候常常会不理解以下总结:当KKK值大的时候, 我们会有更少的Bias(偏差), 更多的Variance。当KKK值小的时候, 我们会有更多的Bias(偏差), 更少的Variance。首先,我们应该明确何为偏差(Bias)和方差(Variance)以及它们与误差(Error)的关系?其次,我们应该明...原创 2019-02-28 12:56:56 · 879 阅读 · 0 评论 -
深入浅出最大似然估计
对于正在学习机器学习算法的同学来说,相信大家对这两个名词很眼熟吧,但是二者的用法与区别是不是很清楚呢?如果是,那么恭喜你,you are so cow!(哈哈哈^^)如果没有,那也没有关系,because you are so lucky!我将会总结在这篇以及下篇博客里。这里我们通过一个例子来进行阐述,假设我们遇到的是下面这样的问题:1. 例子假设我们需要调查我们学校的男生和女生的身高分...原创 2019-02-28 21:58:44 · 1984 阅读 · 1 评论 -
最大熵模型中条件熵的来源(远离“熵不起”)
写在前面的话:机器学习中,很多地方都会用到条件熵(例如:决策树里面的信息增益与信息增益比的计算;最大熵模型等),但是很多教材或者博客中都只是直接给出了条件熵的计算公式,并没有讲清楚它是怎么来的,这很容易让大家(尤其是我,哈哈哈)知其然不知其所以然,云里雾里的。因此,我看了一下资料,包括《数学之美》以及一些博客,算是弄明白了一点,同时我觉得有必要写出来让更多跟我一样存在过疑惑的人能看到并且解除疑惑。...原创 2019-03-01 22:53:24 · 448 阅读 · 1 评论