机器学习
不吃香菇666
这个作者很懒,什么都没留下…
展开
-
kaggle工具学习整理
ligthgbm分类与回归实例展示https://blog.csdn.net/ssswill/article/details/86539809Scikit中的特征选择,XGboost进行回归预测,模型优化的实战https://blog.csdn.net/sinat_35512245/article/details/79668363...原创 2019-09-06 10:49:29 · 288 阅读 · 0 评论 -
机器学习算法GBDT的面试要点总结-上篇
转自:https://www.cnblogs.com/ModifyRong/p/7744987.html1.简介 gbdt全称梯度下降树,在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一,在前几年深度学习还没有大行其道之前,gbdt在各种竞赛是大放异彩。原因大概有几个,一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了,导致在面试...转载 2019-01-28 15:49:22 · 217 阅读 · 0 评论 -
最大信息系数(MIC)
转自:https://blog.csdn.net/qtlyx/article/details/50780400 建议查看原文。MIC(Maximal information coefficient)一个很神奇的东西,源自于2011年发在sicence上的一个论文。学过统计的都知道,有相关系数这么一个东西,通常叫做r。但是其实应该叫做线性相关系数,应用领域还是很窄的。而MIC这个东西呢,...转载 2019-01-22 22:29:38 · 2817 阅读 · 0 评论 -
统计学三大相关系数之皮尔森(pearson)相关系数
转自:https://blog.csdn.net/AlexMerer/article/details/74908435 https://blog.csdn.net/huangfei711/article/details/78456165 建议查看原文。 最早接触pearson相关系数时,是和同学一起搞数学建模,当时也是需要一种方法评价两组数据之间的相关性,于是找到了皮尔森(pearso...转载 2019-01-22 21:39:52 · 7371 阅读 · 0 评论 -
AdaBoost原理详解
转自:https://www.cnblogs.com/ScorpioLu/p/8295990.html建议查看原文,公式推导格式乱了。写一点自己理解的AdaBoost,然后再贴上面试过程中被问到的相关问题。按照以下目录展开。当然,也可以去我的博客上看Boosting提升算法 AdaBoost 原理理解 实例 算法流程 公式推导 面经 Boosting提升...转载 2019-01-27 21:04:27 · 687 阅读 · 0 评论 -
随机森林算法学习(RandomForest)
转自:https://blog.csdn.net/qq547276542/article/details/78304454随机森林算法学习最近在做kaggle的时候,发现随机森林这个算法在分类问题上效果十分的好,大多数情况下效果远要比svm,log回归,knn等算法效果好。因此想琢磨琢磨这个算法的原理。要学随机森林,首先先简单介绍一下集成学习方法和决策树算法。下文仅对该两种方法做简单介绍...转载 2019-01-27 16:59:57 · 829 阅读 · 0 评论 -
机器学习决策树算法之——理论推导与数学原理
转自:https://blog.csdn.net/WPR1991/article/details/82763040 建议查看原文章。决策树作为一种分类算法,由于其强解释性与低学习成本,而广受欢迎,本篇文章仅从理论层面解释该算法的实现逻辑与数学推导过程。 说起决策树,离不开对信息熵的理解,该词来源于信息论,信息熵这个词对于我们来说比较陌生,用书面语说,信息熵就是所有可能发生事件所带...转载 2019-01-26 21:52:10 · 396 阅读 · 0 评论 -
xgboost 相比GBDT有什么区别
转自:https://blog.csdn.net/wolf963/article/details/78508858图片没有转载过来,请查看原文,以免影响阅读体验。最近刚看完xgboost的paper,权当是 整理一下思路。算法层面的:1.XGB加了正则项,普通GBDT没有。为了防止过拟合T为叶子节点的数量,W为叶子的权重。Y帽子 为预测值,Y为目标值。gamma ,delta...转载 2019-01-09 21:28:25 · 5016 阅读 · 0 评论 -
gbdt和xgboost区别
转自:https://blog.csdn.net/zhangf666/article/details/70174464 目录(?)[-]一GBDTGBRT 二Xgboost gbdt(又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree),是一种迭代的决策树算法,该算法由多个决策树组成。它最早见于...转载 2019-01-09 20:57:53 · 2441 阅读 · 0 评论 -
RF跟GBDT的区别
原文来自:https://blog.csdn.net/u010398493/article/details/77587749https://blog.csdn.net/zhangbaoanhadoop/article/details/79561085GBDT和RF简介GBDT(Gradient Boosting Decision Tree)DT + Boosting = GBDT...转载 2019-01-09 15:43:47 · 1644 阅读 · 0 评论 -
梯度提升树(GBDT)原理小结
转自:https://www.cnblogs.com/pinard/p/6140514.html有些公式显示有问题,建议查看原文进行阅读。在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。...转载 2019-01-09 15:38:15 · 117 阅读 · 0 评论 -
从最大似然到EM算法浅解
转自:https://blog.csdn.net/zouxy09/article/details/8537620建议查看原文,转载只是为了学习记载,部分图片显示不全。从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊...转载 2019-01-09 14:00:53 · 127 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
转自:https://blog.csdn.net/v_july_v/article/details/7624837本文转自大神July,大家可以查看原文更深入了解。 支持向量机通俗导论(理解SVM的三层境界)作者:July 。致谢:pluskid、白石、JerryLead。说明:本文最初写于2012年6月,而后不断反反复复修改&优化,修改次数达上百次,最后修改...转载 2019-01-08 23:12:33 · 273 阅读 · 0 评论 -
KNN的一些总结
转自:https://my.oschina.net/u/1412321/blog/194174 什么是KNN算法呢?顾名思义,就是K-Nearest neighbors Algorithms的简称。我们可能都知道最近邻算法,它就是KNN算法在k=1时的特例,也就是寻找最近的邻居。我们从名字可以知道我们要寻找邻居,但是为什么要寻找邻居,如何选取邻居,选取多少邻居,怎么样去寻找我们想要的邻居,以及...转载 2019-01-08 19:32:09 · 788 阅读 · 0 评论 -
word2vec 中的数学原理详解(一)目录和前言
转自:https://blog.csdn.net/itplus/article/details/37969519建议查看原文,图片没有粘贴过来。 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没...转载 2019-01-08 18:47:36 · 93 阅读 · 0 评论 -
欠拟合、过拟合及其解决方法
转自:https://blog.csdn.net/willduan1/article/details/53070777建议查阅原文,转载图片显示不全。在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题,但是,一开始我们的模型往往是欠拟合的,也正是因为如此才有了优化的空间,我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了,这...转载 2019-01-08 15:05:35 · 387 阅读 · 0 评论 -
机器学习算法中的过拟合与欠拟合
转自:http://www.cnblogs.com/nxld/p/6058782.html在机器学习表现不佳的原因要么是过度拟合或欠拟合数据。机器学习中的逼近目标函数过程监督式机器学习通常理解为逼近一个目标函数(f)(f),此函数映射输入变量(X)到输出变量(Y).Y=f(X)Y=f(X)这种特性描述可以用于定义分类和预测问题和机器学习算法的领域。从训练数据中学习目标函数的...转载 2019-01-08 14:59:02 · 258 阅读 · 0 评论 -
GBDT算法原理
转自:https://blog.csdn.net/qq_19446965/article/details/82079624一、基础知识1.泰勒级数展开 2.梯度下降法 3.牛顿法 4.从参数空间到函数空间二、GBDT1 .DT:回归树 Regression Decision Tree ...转载 2019-01-28 21:12:12 · 675 阅读 · 0 评论 -
Xgboost通俗理解
转自:https://blog.csdn.net/qq_19446965/article/details/820794861 xgboost树的定义2 xgboost目标函数 --------- 2.1 模型学习与训练误差 2.2 树的复杂度3 打分函数计算 ---------- 3....转载 2019-01-28 22:00:44 · 612 阅读 · 0 评论 -
强化学习如何入门?
转自:https://www.itcodemonkey.com/article/3646.html来自:量子位(微信号:QbitAI),王小新编译整理对于大脑的工作原理,我们知之甚少,但是我们知道大脑能通过反复尝试来学习知识。我们做出合适选择时会得到奖励,做出不切当选择时会受到惩罚,这也是我们来适应环境的方式。如今,我们可以利用强大的计算能力,在软件中对这个具体过程进行建模,这就是强化学习...转载 2019-01-29 15:50:18 · 524 阅读 · 0 评论 -
机器学习中的F1-score
转自:https://blog.csdn.net/qq_14997473/article/details/82684300一、什么是F1-scoreF1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛,常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数,最大为1,最小为0。此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同...转载 2019-05-22 15:17:48 · 5012 阅读 · 0 评论 -
机器学习(一)特征工程基本流程
转自:https://www.cnblogs.com/infaraway/p/8645133.html前言 特征是数据中抽取出来的对结果预测有用的信息,可以是文本或者数据。特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块。 特征工程的目的是筛选出更好的特征,获取更好的训练数据。因为好的特征具有更...转载 2019-04-27 21:27:43 · 281 阅读 · 0 评论 -
机器学习中常见的过拟合解决方法
转自:https://www.cnblogs.com/jiangxinyang/p/9281107.html 在机器学习中,我们将模型在训练集上的误差称之为训练误差,又称之为经验误差,在新的数据集(比如测试集)上的误差称之为泛化误差,泛化误差也可以说是模型在总体样本上的误差。对于一个好的模型应该是经验误差约等于泛化误差,也就是经验误差要收敛于泛化误差,根据霍夫丁不等式可知经验误差在一定条件下是可以...转载 2019-03-22 14:32:27 · 2023 阅读 · 0 评论 -
机器学习之特征选择
转自:https://www.cnblogs.com/nolonely/p/6435083.html特征选择方法初识:1、为什么要做特征选择在有限的样本数目下,用大量的特征来设计分类器计算开销太大而且分类性能差。2、特征选择的确切含义将高维空间的样本通过映射或者是变换的方式转换到低维空间,达到降维的目的,然后通过特征选取删选掉冗余和不相关的特征来进一步降维。3、特征选取的原则获取...转载 2019-03-22 14:25:25 · 565 阅读 · 0 评论 -
正则化项L1和L2的区别
转自:https://www.cnblogs.com/lyr2015/p/8718104.htmlhttps://blog.csdn.net/jinping_shi/article/details/52433975https://blog.csdn.net/zouxy09/article/details/24971995一、概括:L1和L2是正则化项,又叫做罚项,是为了限制模型的参...转载 2019-03-22 14:12:51 · 514 阅读 · 0 评论 -
softmax如何进行分类
转自:https://www.zhihu.com/question/23765351/answer/240869755详解softmax函数以及相关求导过程这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流。softmax函数softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!假设...转载 2019-03-18 22:12:35 · 7971 阅读 · 1 评论 -
Logistic 分类器与 softmax分类器
转自:https://www.cnblogs.com/yinheyi/p/6131262.html首先说明啊:logistic分类器是以Bernoulli(伯努利) 分布为模型建模的,它可以用来分两种类别;而softmax分类器以多项式分布(Multinomial Distribution)为模型建模的,它可以分多种互斥的类别。补充:什么是伯努利分布?伯努利分布[2]是一种离散分布...转载 2019-03-18 21:52:09 · 764 阅读 · 0 评论 -
LR与SVM的异同
转自:https://www.cnblogs.com/zhizhan/p/5038747.html在大大小小的面试过程中,多次被问及这个问题:“请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点”。第一次被问到这个问题的时候,含含糊糊地说了一些,大多不在点子上,后来被问得多了,慢慢也就理解得更清楚了,所以现在整理一下,希望对以后面试机器学习方向的同学有所帮助(至少可以瞎扯...转载 2019-03-22 10:54:10 · 166 阅读 · 0 评论 -
梯度提升树(GBDT)原理小结
转自:https://www.cnblogs.com/pinard/p/6140514.html 在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradi...转载 2019-03-25 15:40:13 · 223 阅读 · 0 评论 -
【读书笔记】推荐系统实践-常见推荐算法及应用
转自:https://blog.csdn.net/C_J33/article/details/80899413建议查看原文,有些公式推导没有展示出来。《推荐系统实践》系统性地介绍了推荐系统这一领域,思路清晰,详细介绍了各个领域不同情景的推荐算法的应用,是一本很好的推荐系统入门书,尤其第二第三章的讲解比较细致。(Ps:书中插入的python代码有点生硬,读者可以直接忽略)衡量推荐算法的指...转载 2019-03-18 17:04:07 · 351 阅读 · 0 评论 -
推荐系统常用的推荐算法
转自:http://bigdata.51cto.com/art/201609/518316.htm一、推荐系统概述和常用评价指标1.1 推荐系统的特点在知乎搜了一下推荐系统,果真结果比较少,显得小众一些,然后大家对推荐系统普遍的观点是:(1)重要性UI>数据>算法,就是推荐系统中一味追求先进的算法算是个误区,通常论文研究类的推荐方法有的带有很多的假设限制,有的考虑...转载 2019-03-18 16:54:59 · 9574 阅读 · 0 评论 -
推荐系统读书笔记(三)推荐系统冷启动问题
转自:https://www.cnblogs.com/MarsMercury/p/5169071.html3.1 冷启动问题简介 主要分三类: 1.用户冷启动:如何给新用户做个性化推荐。 2.物品冷启动:如何将新的物品推荐给可能对它感兴趣的用户这一问题。 3.系统冷启动:如何在一个新开发的网站上设计个性化推荐系统。 解决方案: 1.提供非个性化的推荐:热门排...转载 2019-03-18 15:46:35 · 348 阅读 · 0 评论 -
常见推荐算法科普
转自:https://www.cnblogs.com/xuanku/p/recsys.html推荐算法目前主流的推荐算法主要包含内容关联算法, 协同过滤算法。内容关联算法(Content-Based)CB算法的原理是将一个item的基本属性, 内容等信息提取出来, 抽成一个taglist, 为每个tag赋一个权重。剩下的事情就跟一个搜索引擎非常类似了, 将所有item对应的ta...转载 2019-03-18 10:10:03 · 297 阅读 · 0 评论 -
详解机器学习中的梯度消失、爆炸原因及其解决方法
转自:https://blog.csdn.net/qq_25737169/article/details/78847691建议查看原文,直接粘贴过来,格式有问题,会影响阅读体验。前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失及爆炸的原因,第三部分对提出梯度消失及爆...转载 2019-03-15 11:12:29 · 186 阅读 · 0 评论 -
Huber Loss function
转自:https://blog.csdn.net/lanchunhui/article/details/50427055转载 2019-02-22 21:08:56 · 1096 阅读 · 0 评论 -
深度强化学习——强化学习到深度强化学习
转自:https://blog.csdn.net/weixin_42389349/article/details/82935123 建议查看原文,图片没有转载过来。从事深度强化学习有一段时间了,整理了网上的一些资料,写几篇博客作为知识的梳理和总结。开讲前,先给大家看个深度强化学习的例子,下面是深度学习cnn和强化学习结合玩吃豆人的游戏看图像我们会发现吃豆人会,吃掉一闪一闪的豆子来消...转载 2019-01-29 16:27:41 · 1916 阅读 · 1 评论 -
AUC计算方法总结
转自:https://blog.csdn.net/pzy20062141/article/details/48711355一、roc曲线1、roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例...转载 2019-01-08 14:25:07 · 1226 阅读 · 0 评论 -
ROC曲线-阈值评价标准
转自:https://blog.csdn.net/abcjennifer/article/details/7359370建议查看原文,转载图片显示不全。 ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系,它通过将连续变量设...转载 2019-01-08 14:03:44 · 920 阅读 · 0 评论 -
系统学习机器学习之神经网络(一)--MLP及局部模型,RBF综述
转自:http://blog.csdn.net/App_12062011/article/details/50379410今天我们要谈的MLP其实是一种人工神经网络结构,属于非参数估计,可以用于解决分类和回归问题。我们先来了解下神经网络的背景,然后再来介绍下感知器。神经网络感知器多层感知器神经网络的应用局部模型一、神经网络转载 2018-01-12 16:51:44 · 13411 阅读 · 0 评论 -
多层感知器模型(MLP)
转自:http://blog.csdn.net/zhaohuizhu135/article/details/52654481需要训练的模型参数(parameters)num_hidden:隐藏层节点数目 activation func:隐藏层/输出层节点的激发函数 weights/biases:连接权重/偏置 * 构造成本函数 训练模型的目的就是降低C转载 2018-01-12 15:11:41 · 1181 阅读 · 0 评论