![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型算法
文章平均质量分 94
模型算法,主要介绍机器学习的相关的算法。
taoKingRead
念念不忘,必有回响。
展开
-
集成学习-Bagging集成学习算法随机森林(Random Forest)
随机森林算法属性随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。随机森林和使用决策树作为基本分类器的(bagging)有些类似。以决策树为基本模型的bagging在每次bootstrap放回抽样之后,产生一棵决策树,抽多少样本就生成多少...原创 2020-11-27 18:54:36 · 2641 阅读 · 0 评论 -
逻辑回归模型详解(Logistic Regression)
目录广义线性模型极大似然法逻辑回归的假设函数逻辑回归的损失函数为什么LR模型损失函数使用交叉熵不用均方差交叉熵损失函数交叉熵损失函数的数学原理交叉熵简介交叉熵损失函数的直观理解逻辑回归优缺点其他逻辑回归与线性回归的区别与联系LR一般需要连续特征离散化原因广义线性模型逻辑回归与线性回归都是一种广义线性模型(generalized linear model,GLM)。具体的说,都是从指数分布族导出的线性模型,线性回归假设Y|X服从高斯分布,逻辑回...原创 2020-11-10 20:41:30 · 78797 阅读 · 2 评论 -
线性回归模型详解(Linear Regression)
线性回归和逻辑回归原创 2020-11-10 20:41:05 · 170783 阅读 · 8 评论 -
集成学习-Boosting集成学习算法LightGBM
在2017年年1月微软在GitHub的上开源了一个新的升压工具LightGBM(Light Gradient Boosting Machine )。它是一种优秀的机器学习算法框架,与XGBoost算法相比,在不降低准确率的前提下,速度提升了10倍左右,占用内存下降了3倍左右。下图是LightGBM在GitHub主页上展示的在五个不同数据集上得到的性能实验数据,比起XGBoost算法,LightGBM算法在准确度一样,但在速度和内存的消耗上有更明显的优势。耗时比较:准确率比较:内存消耗原创 2020-11-10 20:40:33 · 891 阅读 · 0 评论 -
集成学习-Boosting集成学习算法XGBoost
XGBoost全名叫(eXtreme Gradient Boosting)极端梯度提升,经常被用在一些项目中,其效果显著。它是大规模并行boosted tree的工具,它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是GBDT(gradient boosting decision tree)的改进,既可以用于分类也可以用于回归问题中。全称:eXtreme Gradient Boosting(极值梯度提升算法) 作者:陈天奇(华盛顿大学博士) 基...原创 2020-10-28 20:25:23 · 1732 阅读 · 0 评论 -
集成学习-Boosting集成学习算法GBDT
GBDT是一个基于迭代累加的决策树算法,它通过构造一组弱的学习器(树),并把多颗决策树的结果累加起来作为最终的预测输出。用ID3算法和C4.5算法学习得到的决策树,有可能导致模型过拟合,通常使用剪枝算法来解决。随着集成学习的发展,出现了比较典型的迭代决策树GBDT和随机森林RF,即将多棵单决策树进行模型组合,形成多决策树,可以看成Treelink。GBDT也是集成学习Boosting家族的成员,但是却和传统的Adaboost有很大的不同。回顾下Adaboost,我们是利用前一轮迭代弱学习器的...原创 2020-10-28 20:12:42 · 979 阅读 · 0 评论 -
集成学习-Boosting集成学习算法AdaBoost
Boosting是一族将弱学习器提升为强学习器的算法,适用于个体学习器间存在强依赖关系、必须串行生成序列化方法。最著名的代表是AdaBoost。Boosting的工作机制:从初始的训练集中训练出一个基学习器,再根据基学习器的表现对样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直到基学习器数目达到事先指定的值T,最终将这T个基学习器进行加权结合。Adaboost算法Adaboost是一种原理简单,但很实...原创 2020-10-12 20:51:52 · 1116 阅读 · 0 评论 -
模型算法-支持向量机SVM
支持向量机(SupportVectorMachine),一般简称SVM,它是个二分类的分类模型,即给定一个包含正例和反例的样本集合(是一种有监督的机器学习算法),支持向量机的目的是寻找一个超平面来将样本中的正例和反例用分开,其原则是使正例和反例之间的间隔最大。什么是超平面?在一维空间,超平面是一个点 在二维空间,它是一条线 在三位空间,它是一个面 在更高维度上,你能够称它为超平面什么是最优分类超平面?最优超平面将是拥有最大边距的那个超平面。什么是间隔?给...原创 2020-09-01 09:10:31 · 1044 阅读 · 0 评论