机器学习
文章平均质量分 55
冠切云之崔嵬
这个作者很懒,什么都没留下…
展开
-
XGBoost的调用、参数调优、模型保存、模型显示、预测评价全套
# -*- coding: utf-8 -*-"""Created on Fri Oct 25 09:24:15 2019@author: zxh"""import numpy as np #pandas依赖于numpyfrom sklearn.metrics import r2_score#,import pickleimport matplotlib.pyplot as pltfrom xgboost import plot_importancefrom sklearn.model.转载 2021-01-07 18:12:17 · 1014 阅读 · 0 评论 -
xgboost特征选择
Xgboost在各大数据挖掘比赛中是一个大杀器,往往可以取得比其他各种机器学习算法更好的效果。数据预处理,特征工程,调参对Xgboost的效果有着非常重要的影响。这里介绍一下运用xgboost的特征选择,运用xgboost的特征选择可以筛选出更加有效的特征代入Xgboost模型。这里采用的数据集来自于Kaggle | Allstate Claims Severity比赛,这里的训练集如下所示,有116个离散特征(cat1-cat116),14个连续特征(cont1 -cont14),离散特征用字符.转载 2021-01-04 14:16:06 · 1519 阅读 · 0 评论 -
用xgboost模型对特征重要性进行排序
用xgboost模型对特征重要性进行排序在这篇文章中,你将会学习到:xgboost对预测模型特征重要性排序的原理(即为什么xgboost可以对预测模型特征重要性进行排序)。 如何绘制xgboost模型得到的特征重要性条形图。 如何根据xgboost模型得到的特征重要性,在scikit-learn进行特征选择。梯度提升算法是如何计算特征重要性的?使用梯度提升算法的好处是在提升树被创建后,可以相对直接地得到每个属性的重要性得分。一般来说,重要性分数,衡量了特征在模型中的提升决策树构建中价.转载 2021-01-04 14:09:00 · 2229 阅读 · 2 评论 -
面试总结——强化学习
强化学习和监督式学习的区别:监督式学习就好比你在学习的时候,有一个导师在旁边指点,他知道怎么是对的怎么是错的,但在很多实际问题中,例如 chess,go,这种有成千上万种组合方式的情况,不可能有一个导师知道所有可能的结果。而这时,强化学习会在没有任何标签的情况下,通过先尝试做出一些行为得到一个结果,通过这个结果是对还是错的反馈,调整之前的行为,就这样不断的调整,算法能够学习到在什么样的情...原创 2019-09-17 18:23:25 · 2392 阅读 · 0 评论 -
机器学习相关优化算法
目录0.梯度下降法深入理解一.优化器算法简述1.Batch Gradient Descent (BGD)2.Stochastic Gradient Descent (SGD)3.Mini-Batch Gradient Descent (MBGD)[应对挑战 1]4.Momentum5.Nesterov Accelerated Gradient[应对挑战 2]...转载 2019-09-20 12:00:36 · 276 阅读 · 0 评论 -
强化学习1
本文结构:定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例1. 定义强化学习是机器学习的一个重要分支,是多学科多领域交叉的一个产物,它的本质是解决decision making 问题,即自动进行决策,并且可以做连续决策。它主要包含四个元素,agent,环境状态,行动,奖励, 强化学习的目标就是获得最多的累计奖励。让我们以小孩学习走路来做个形象的例子:...转载 2019-09-22 19:47:07 · 239 阅读 · 0 评论 -
面试总结——SVM
1、简单介绍SVM(详细原理):从分类平面,到求两类间的最大间隔,到转化为求间隔分之一,等优化问题,然后就是优化问题的解决办法,首先是用拉格拉日乘子把约束优化转化为无约束优化,对各个变量求导令其为零,得到的式子带入拉格朗日式子从而转化为对偶问题, 最后再利用SMO(序列最小优化)来解决这个对偶问题。svm里面的c有啥用C>0称为惩罚参数,一般事先由应用问题决定,控制目标函数中两项...原创 2019-08-20 22:34:11 · 2658 阅读 · 0 评论 -
面试总结——LR
实际工作中,我们可能会遇到如下问题:预测一个用户是否点击特定的商品 判断用户的性别 预测用户是否会购买给定的品类 判断一条评论是正面的还是负面的最大似然估计,就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。例如:一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球,我要求最有可能的黑白球之间的比...原创 2019-08-26 19:40:00 · 4243 阅读 · 4 评论 -
面试总结——L1和L2
1、L2正则化,为什么L2正则化可以防止过拟合?L1正则化是啥?避免过拟合的第一个思路:使尽可能多的参数为零。为此,最直观地可以引入L0-范数。这意味着,我们希望绝大多数w的分量为零。L0范数:向量中非0元素的个数。通过引入L0正则项,我们可以使模型稀疏化且易于解释,并且在某种意义上实现了「特征选择」。这看起来很美好,但是L0正则项:非连续、非凸、不可导。因此,L0正则项...原创 2019-08-30 22:52:57 · 6524 阅读 · 1 评论 -
面试总结——优化
1、梯度下降的优缺点;主要问最优化方面的知识,梯度下降法的原理以及各个变种(批量梯度下降,随机梯度下降法, mini 梯度下降法),以及这几个方法会不会有局部最优问题,牛顿法原理和适用场景,有什么缺点,如何改进(拟牛顿法)2、常用优化算法:1.梯度下降法:又有随机梯度下降和负梯度下降,2.牛顿法 主要是问了各自的优缺点,速度,能不能得到全局最优解,牛...原创 2019-09-20 11:39:04 · 450 阅读 · 0 评论 -
随机森林1
链接:https://www.cnblogs.com/DicksonJYL/p/9429691.html1. 随机森林使用背景1.1 随机森林定义随机森林是一种比较新的机器学习模型。经典的机器学习模型是神经网络,有半个多世纪的历史了。神经网络预测精确,但是计算量很大。上世纪八十年代Breiman等人发明分类树的算法(Breiman et al. 1984),通过反复二分数据进行分类或回...转载 2019-07-25 16:06:54 · 386 阅读 · 0 评论