![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
阴天了
哈哈哈哈哈
展开
-
【机器学习】特征选择(Feature Selection)方法汇总
传送门转载 2020-08-25 13:15:27 · 1547 阅读 · 0 评论 -
模型评价指标
传送门转载 2020-06-27 23:04:21 · 290 阅读 · 0 评论 -
LightGBM代码实现
from __future__ import print_functionimport lightgbm as lgbimport sklearnimport numpyimport hyperoptfrom hyperopt import hp, fmin, tpe, STATUS_OK, Trialsimport coloramaimport numpy as npN_HYP...原创 2020-01-20 17:01:41 · 1123 阅读 · 0 评论 -
朴素贝叶斯理论+代码实现
朴素贝叶斯理论1、相关概念(生成模型、判别模型)1. 相关概念2、先验概率、条件概率3、贝叶斯决策理论3. 贝叶斯决策理论4、贝叶斯定理公式极大似然估计朴素贝叶斯分类器5、极值问题情况下的每个类的分类概率6、下溢问题如何解决7、零概率问题如何解决7. 零概率问题如何解决?8、sklearn参数详解8. sklearn参数详解9、优缺点1、相关概念(生成模型、判别模型) 编号 色泽...原创 2020-01-20 16:52:54 · 668 阅读 · 0 评论 -
几句话让你明白什么是Stacking模型
模型融合作为kaggle等比赛的提分方法,你不知道可就落伍了,对于网上的大部分讲解个人看法是把一个简单的问题说的复杂了,反而不好理解,所以本文将通过简短的几句话讲述一下Stacking原理,文章最后附上kaggle对Stacking的一个案例,这样你就会完全掌握了,好的,下面开始Staching原理这里假设你的训练集有10000条,测试集有2500条,并且基学习器有10个(这个是你自己设定的)...原创 2019-08-02 16:34:27 · 1454 阅读 · 0 评论 -
聚类算法--无监督学习
1、相关概念无监督学习:无监督学习是机器学习的一种方法,没有给定事先标记过的训练示例,自动对输入的数据进行分类或分群。无监督学习的主要运用包含:聚类分析、关系规则、维度缩减。它是监督式学习和强化学习等策略之外的一种选择。 一个常见的无监督学习是数据聚类。在人工神经网络中,生成对抗网络、自组织映射和适应性共振理论则是最常用的非监督式学习。聚类:聚类是一种无监督学习。聚类是把相似的对象通过静...原创 2020-01-18 21:02:05 · 3508 阅读 · 0 评论 -
特征工程
本文中使用sklearn中的IRIS(鸢尾花)数据集来对特征处理功能进行说明。IRIS数据集由Fisher在1936年整理,包含4个特征(Sepal.Length(花萼长度)、Sepal.Width(花萼宽度)、Petal.Length(花瓣长度)、Petal.Width(花瓣宽度)),特征值都为正浮点数,单位为厘米。目标值为鸢尾花的分类(Iris Setosa(山鸢尾)、Iris Versico...转载 2020-01-11 16:21:12 · 225 阅读 · 0 评论 -
线性回归
线性回归模型的数学表达式如公示1所示:θ\thetaθ统称为模型的参数,其中θ0\theta_0θ0被称为截距(intercept),θ1\theta_1θ1~θn\theta_nθn被称为系数(coefficient),xix_{i}xi表示数据属性的第i个自变量。我们通过矩阵形式来表示这个方程,如公式2所示:这里xxx和θ\thetaθ都可以被看成一个矩阵,线性回归的任务就是通...原创 2020-02-01 14:26:07 · 151 阅读 · 0 评论 -
回归模型构建实战——赛题分析
本章节通过2019年未来杯高校AI挑战赛的竞赛进行完整的数据建模,其中包括了赛题分析、数据清洗、特种工程、模型选择、模型融合及结果整理6大过程。认识数据(赛题介绍)在构建模型前或者在数据分析前需要对数据有个清楚的认识,无论是对于数据竞赛还是企业项目,对于数据的认识往往是第一位的,这直接影响到最终的结果。本文是利用一个竞赛向大家进行介绍的,故根据比赛背景介绍如何对数据进行认识。了解比赛的背景、知...原创 2020-01-07 16:55:27 · 980 阅读 · 0 评论 -
机器学习求职
转载来自大羚羊原创 2019-03-02 19:48:19 · 288 阅读 · 0 评论 -
一个例子让你明白什么是CART回归树
关于CART的原理我相信各位都有看过,是不是有些晕呢?没关系,这里我给大家讲个例子,你就理解原来CART回归树生成这么简单啊。。。首先建立一个数据集,为了方便,就取少量数据,如下表,数据的创建仅作参考臂长(m)年龄(岁)体重(kg)身高(m)(标签值)0.55201.10.77301.30.921701.7训练数据中臂长,年龄,体重为...原创 2019-04-01 15:05:07 · 5547 阅读 · 8 评论 -
高级算法梳理之随机森林
本系列将重点续写集成算法,其中包括随机森林(RF)—>GBDT—>XGB—>LightGBM,本文将重点介绍随机森林算法(RF)。1. 什么是集成学习集成学习,有个说法叫“三个臭皮匠,顶一个诸葛亮”,如下图所示,简单来说就是对于训练集数据,我们通过训练若干个个体学习器,通过一定的结合策略,就可以最终形成一个强学习器,以达到博采众长的目的。其中个体学习期的选择方法要给予,低...原创 2019-05-12 13:40:11 · 458 阅读 · 0 评论 -
高级算法梳理之GBDT(梯度提升决策树)
上一部分讲了集成程序的概念,其中介绍了了bagging优化的随机森林算法,本文讲述基于Boosting算法的梯度提升决策树算法(GBDT)。1、加法模型我们将f(x)=∑m=1Mβmb(x;γm)f\left ( x \right )=\sum_{m=1}^{M}\beta _{m}b\left ( x;\gamma _{m} \right )f(x)=∑m=1Mβmb(x;γm)定义为...原创 2019-05-13 13:51:43 · 717 阅读 · 0 评论 -
高级算法梳理之xgbBoost
本文将重点解释竞赛圈里的“大杀器”,xgboost算法。本文主要结构包括xgboost内容讲解,以及案例分析。1、XGB算法原理XGB算法有陈天奇博士提出,是GBDT算法的升级版,在效率和方法上都做了改良。此算法的基本思想就是不断地添加树(函数),不断地进行特征分裂来生长一棵树,每次添加一个树,去拟合上次预测的残差(与GBDT一样)。当我们训练完成得到k颗树,我们要预测一个样本的分数,其实就是...原创 2019-05-16 10:21:55 · 3488 阅读 · 0 评论 -
你一定要知道的机器学习基础概念
学了机器学习一年多了,现在转做深度学习,现在想重新梳理一下机器学习的一些基本概念,也是希望自己太久不用再生疏了。参考了一些文章,下面就开始了。分类与回归分类和回归都是监督学习的方法。分类问题(classification):通过训练一个模型,来达到预测定性的目标。回归问题(regression):通过训练一个模型,来达到预测定量的目标。两者都是描述输入(特征)到输出(标签)的关系,回归返...原创 2019-05-16 10:26:18 · 114 阅读 · 0 评论 -
高级算法梳理之LightGBM
LightGBM(Light Gradient Boosting Machine)是微软的开源分布式高性能Gradient Boosting框架,使用决策树的学习算法,下面介绍以下这个框架的优化。1、速度、内存方面的优化许多提升工具使用基于预排序的算法(近似直方图算法)(例如XGBoost中的默认算法)来进行决策树学习。这是一个比较简单的解决方案,但不容易优化。LightGBM使用基于直方图的...原创 2019-05-20 16:26:54 · 1354 阅读 · 0 评论 -
决策树原理以及代码详解
本文为阅读决策树的个人理解所注笔记,仅供参考。学习决策树之前要理解一些概念信息熵(熵、联合熵、条件熵和互信息)决策树学习算法(信息增益、ID3、C4.5和CART)bagging和随机森林。概念1、熵熵:信息的不确定程度。源于信息论热力学第二定律。举个栗子帮助大家理解什么是熵(信息的混乱程度)?假设事件x的发生概率为p(x)p\left ( x \right )p(x),事件y的发生概率为...原创 2019-07-22 16:45:22 · 1345 阅读 · 0 评论 -
逻辑回归
传送门转载 2019-08-02 11:10:05 · 619 阅读 · 0 评论