机器学习-西瓜书
机器学习总结
ouliangliang1
这个作者很懒,什么都没留下…
展开
-
RandomForestClassifier、SVM、xgboost实现二分类算法
RandomForestClassifier# -*- coding: utf-8 -*-import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as pltimport csv from sklearn.model_selection import train_test_split # 数据分割from sklearn.preprocessing import Impute原创 2020-08-24 09:52:49 · 1005 阅读 · 2 评论 -
K-Means算法及多种优化改进算法,聚类模型评估、面试总结
一、聚类分析聚类分析是根据在数据中发现的描述对象(数据)及其关系的信息,将数据划分成有意义或有用的组(簇)。其目标是:组内的对象相互之间是相似的(相关的),而不同组中的对象是不同的(不相关的);组内的相似性(同质性)越大,组间差别越大,聚类就越好。二、不同的聚类类型1层次的(嵌套的)与划分的(非嵌套的)划分聚类:简单地将数据对象集划分成不重叠的子集(簇),是的每个数据对象恰在一个子集中层次聚类:允许簇具有子簇;层次聚类是嵌套簇的集合,组成一棵树2互斥的、重叠的与模糊的互斥的:每个对象都指派原创 2020-07-10 10:25:19 · 4150 阅读 · 1 评论 -
理解集成学习Boosting思想之GBDT、XGBoost,附带案例
前言前面我们介绍了使用 Boosting 思想的 AdaBoost ,它是通过前一轮决策的结果来给样本设置权重,决策正确的权重减小,决策错误的权重增加;然后将加权后的数据集输入下一个弱学习器训练,直到达到训练停止条件。Boosting 思想的GBDT、XGBoost,在目前的竞赛和工业界中使用非常频繁,能够有效的应用到分类、回归,更是因为近几年被应用于构建搜索排序的机器学习模型而引起广泛关注。虽然用起来不难,但是要想完整理解它的原理及推导不是那么容易,本篇尽可能通过简单的方式来介绍。一、提升树模型提原创 2020-07-09 10:44:14 · 955 阅读 · 1 评论 -
集成学习Boosting思想之AdaBoost
对于 Bagging 思想集成的随机森林,是可以并行训练的,正是因为每个弱分类器之间不相互影响;而 Boosting 是通过串行训练而获得的,每个分类器要根据以前训练出的分类器的性能来进行训练。Boosting 常用模型:AdaBoostGradient Boosting(GBT/GBDT/GBRT)XGBoost二、AdaBoost1、AdaBoost 执行过程AdaBoost 是一种迭代算法,整个迭代过程直到错误率足够小或者达到一定的迭代次数为止;每轮迭代中会在修改后的训练集上产生一个新原创 2020-07-03 10:39:21 · 275 阅读 · 0 评论