关闭
当前搜索:

机器学习集成算法:XGBoost思想

机器学习集成算法:XGBoost思想01 — 回顾这几天推送了机器学习的降维算法,总结了特征值分解法,奇异值分解法,通过这两种方法做主成分分析(PCA)。大家有想了解的,可以参考: 数据预处理:PCA原理推导 数据降维处理:PCA之特征值分解法例子解析 数据降维处理:PCA之奇异值分解(SVD)介绍 数据降维:特征值分解和奇异值分解的实战分析至此,已经总结了机器学习部分常用的回归,分类,...
阅读(48) 评论(0)

机器学习数据预处理:数据降维之PCA

请点击上面公众号,免费订阅。  《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!01 — 回顾到现在,已经总结了机器学习的: 回归算法之最小二乘方,脊回归,套索回归; 分类算法之逻辑回归,决策树分类,朴素贝叶斯决策,半朴素贝叶斯决策 聚类算法之高斯混合模型,解决这个模型选择了...
阅读(34) 评论(0)

高斯混合模型:不掉包实现多维数据聚类分析

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!01 — 回顾昨天实现推送了,GMM高斯混合的EM算法实现的完整代码,这是不掉包的实现,并且将结果和sklearn中的掉包实现做了比较:聚类结果基本一致,要想了解这个算法实现代码的小伙伴,可以参考:机器学习高斯混合模型:聚类原理分析(前...
阅读(17) 评论(0)

机器学习高斯混合模型(后篇):GMM求解完整代码实现

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!01 — 回顾前面推送中,我们介绍了高斯混合模型(GMM)的聚类原理,以及聚类求解的公式推导,如果您想了解这部分,请参考之前的推送: 机器学习高斯混合模型:聚类原理分析(前篇) 机器学习高斯混合模型(中篇):聚类求解总结来说,GMM...
阅读(78) 评论(0)

机器学习高斯混合模型(中篇):聚类求解

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来! 01 — 回顾昨天,介绍了高斯混合模型(GMM)的一些有意思的小例子,说到高斯混合能预测出每个样本点属于每个簇的得分值,这个具有非常重要的意义,大家想了解这篇推送的,请参考: 机器学习高斯混合模型:聚类原理分析(前篇)02...
阅读(18) 评论(0)

机器学习高斯混合模型:聚类原理分析(前篇)

01 — 回顾近几天,分析了期望最大算法的基本思想,它是用来迭代求解隐式变量的利器,我们举例了两地的苹果好坏分布为例来求解隐式参数,苹果的出处,进而求出烟台或威海的苹果好坏的二项分布的参数:好果的概率。关于二项分布和离散式随机变量的基础理论知识,请参考: 机器学习储备(11):说说离散型随机变量 机器学习储备(12):二项分布的例子解析注意在求解烟台或威海的好果概率这个分布参数时,我们在每个...
阅读(17) 评论(0)

机器学习储备(12):二项分布的例子解析

01 — 二项分布如果实验满足以下两种条件: 在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立; 相互独立,与其它各次试验结果无关; 事件发生与否的概率在每一次独立试验中都保持不变。 则实验的结果对应的分布为二项分布。当试验次数为1时,二项分布服从0-1分布。02 — 例子解析例如,一堆苹果有好的,有坏的,从中取10次,定义随机变量:从中取得好苹果的个数...
阅读(20) 评论(0)

机器学习储备(11):说说离散型随机变量

交流思想,注重分析,更注重通过实例让您通俗易懂。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!01 — 包含的概念通过例子介绍以下几个主要概念: 随机变量的定义 不同的X取值也会不同 离散型随机变量 古典概率 离散型随机变量X=xi时的概率 分布函数02 — 例子阐述以上概念一堆苹果,数量一共有5个,有好的,有坏的,如果定义...
阅读(42) 评论(0)

机器学习期望最大算法:实例解析

01 回顾 已经分析了朴素贝叶斯分类,拉普拉斯修正,半朴素贝叶斯分类器,在这些理论阐述中,都带有详细的例子解释,通过例子理解相关的理论是一种快速消化公式和理论比较不错的方法。接下来,介绍一种非常经典的求解隐变量的算法,这也是一种经典的算法。让我们先从最大似然估计入手,在03节真正分析这种算法。 02 最大似然估计求分布参数给定一堆苹果,里面有好苹果,也有坏苹果。好果的分布满足某种概率分布,也就是拿到...
阅读(25) 评论(0)

机器学习:单词拼写纠正器python实现

01 朴素贝叶斯分类实战前面介绍了贝叶斯的基本理论,朴素贝叶斯分类器,拉普拉斯修正,文章的链接如下: 机器学习:说说贝叶斯分类 朴素贝叶斯分类器:例子解释 朴素贝叶斯分类:拉普拉斯修正 在这3篇推送中用例子详细阐述了贝叶斯公式和朴素贝叶斯如何做分类,以及如何修正一些属性某些取值概率。下面,借助朴素贝叶斯分类器的基本思想,编写一个单词拼写纠正器,它大致实现的功能如下: 如果用户输入的单词存在...
阅读(52) 评论(0)

朴素贝叶斯分类:拉普拉斯修正

拉普拉斯修正上面通过这个例子折射处一个问题:训练集上,很多样本的取值可能并不在其中,但是这不并代表这种情况发生的概率为0,因为未被观测到,并不代表出现的概率为0 。正如上面的样本,看其他两个属性很可能属于好苹果,但是再加上颜色:青色,这三个属性取值组合在训练集中并未出现过,所以朴素贝叶斯分类后,这个属性取值的信息抹掉了其他两个属性的取值,在概率估计时,通常解决这个问题的方法是要进行平滑处理,常用拉普...
阅读(33) 评论(0)

朴素贝叶斯分类器:例子解释

1 引言在昨天推送了用一个例子引入贝叶斯公式的基本思想,然后用贝叶斯公式对一个很简单的问题做分类,最后引出来一个问题:后验概率 P(c | x) 的求解转化为求解 P(c)和 P(x | c),P(c) 根据大数定律容易求得,所以 P(x | c)成为了最核心也是最迫切需要求解的问题。下面,借助一个例子解释它是如何求解的,这个求解思想有一个很朴素的名字:朴素贝叶斯分类器。 2 一堆苹果笔者比较喜欢...
阅读(63) 评论(0)

机器学习:说说贝叶斯分类

1 进入例子假如我是一个质检员,现在接到了三箱零件需要检验,其中第一箱有10个零件,第二箱有20个零件,第三箱有15个。半小时过去了,检验的结果出炉,第一箱有1个不合格,第二箱有3个不合格,第三箱2个不合格。下午领导要来视察了,看看我验的货到底有没有问题,于是他随手拿了一个零件,我心里默默计算,领导拿到这个件为合格件的概率有多大?在这个问题中,领导拿的这个零件首先一定在这3个箱子中的某一个,因此样本...
阅读(50) 评论(0)

机器学习:谈谈决策树

0 回顾前面谈了逻辑回归的基本原理及梯度下降推导过程,编码实现了逻辑回归的梯度下降算法,这是分类算法。今天,我们继续开启分类算法之旅,它是一种高效简介的分类算法,后面有一个集成算法正是基于它之上,它是一个可视化效果很好的算法,这个算法就是决策树。 1 一个例子有一堆水果,其中有香蕉,苹果,杏这三类,现在要对它们分类,可以选择的特征有两个:形状和大小,其中形状的取值有个:圆形和不规则形,大小的取值有:...
阅读(509) 评论(0)

机器学习储备(9):matplotlib绘图原理及实例

matplotlibmatplotlib 的对象体系非常严谨,为我们提供了巨大的方便性和使用效率。用户在熟悉了核心对象之后,可以轻易的定制图像。先来看看 Figure类,Axes类,直接调用Figure()构造函数,便得到一个fig实例,然后调用add_axes得到 axes实例。fig = plt.figure() # fig的图像坐标称为Figure坐标(此外还有一个数据坐标) ax...
阅读(4374) 评论(0)

机器学习逻辑回归:原理推导

前言到现在为止,我们通过大约1周的时间初步对机器学习是怎么一回事算是有一些基本的理解了,从最基本的线性回归入手,讨论了如何在拿到一堆数据时,先进行数据预处理(暂时未详细阐述,会在以后某个时间段详细论述),然后再假设模型(model)为线性模型,再带入数据通过直接求解法和梯度下降法求解模型的各个特征的权重参数,最后用脊回归和套索回归优化了普通最小二乘法回归,对L1和L2正则化有了进一步地认识。我们的整...
阅读(4367) 评论(0)

机器学习:正则化到底是怎么一回事?

1 L1和L2正则化项 2 L1和L2的作用 3 L1如何做到稀疏 4 L2如何做到防止过拟合 4 总结 本文首发在《算法channel》公众号在最近的推送中,先后总结了最小二乘法的原理,两个求解方法:直接法和梯度下降,最后利用这两种思路进行了python实战;之后阐述了OLS算法使用的前提是必须满足数据集无多重共线性,因为它是无偏估计,这也带来了它非常惧怕多重共线性问题,在面对这些数据时,...
阅读(4740) 评论(0)

机器学习之线性回归:算法兑现为python代码

1 数据预处理 2 直接求解参数 3 梯度下降求参数 4 总结 前面三天推送机器学习线性回归算法之最小二乘法,从假设到原理,详细分析了直接求解和梯度下降两种算法,接下来手动编写python代码实现线性回归的算法吧。 1 数据预处理在拿到一个数据集后,往往需要经过漫长的预处理过程,不要忽视这个看似与建立模型,求解模型无关的步骤,它其实非常重要的,为后续工作做好准备的一步。现在这节的重点不是在论述...
阅读(963) 评论(0)

最小二乘法原理(后):梯度下降求权重参数

在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数,然而有时参数是无法直接求解的,此时我们就得借助梯度下降法,不断迭代直到收敛得到最终的权重参数。首先介绍什么是梯度下降,然后如何用它求解特征的权重参数,欢迎您的阅读学习。 1 梯度下降梯度是函数在某点处的一个方向,并且沿着该方向变化最快,变化率最大。沿着梯度这个方向,使得值变大的方向是梯度上升的方向,沿着使值变小的方向便是下降的方向。综上,梯...
阅读(671) 评论(0)

机器学习之最小二乘法:背后的假设和原理

1 最小二乘法相关理论我们先从最基本但很典型的线性回归算法之最小二乘法说起吧,它背后的假设和原理您了解吗?本系列带来细细体会OLS这个算法涉及的相关理论和算法。参考推送:最小二乘法:背后的假设和原理(前篇) 2 最小二乘法原理(中):似然函数求权重参数似然函数的确是求解类似问题的常用解决方法,包括以后的解决其他模型的参数,也有可能用到似然函数。如果对似然函数无感觉,那么也请看一下下面的消息推送:最小...
阅读(939) 评论(0)
42条 共3页1 2 3 下一页 尾页
    算法channel

    交流思想,注重分析,实例阐述,通俗易懂,包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来!

    算法与人工智能交流群:646901659

    个人资料
    • 访问:297312次
    • 积分:7372
    • 等级:
    • 排名:第3198名
    • 原创:351篇
    • 转载:0篇
    • 译文:0篇
    • 评论:55条
    博客专栏