机器学习
手撕机
娱乐博主。
展开
-
[机器学习] 手撕XGBoost超参数
本文以XGBoost 1.4.2版本为例,以具体例子,详解XGBoost中超参数的含义以及用法。import osimport pandas as pdimport xgboost as xgbfrom sklearn.tree import export_graphvizcols = ['height', 'weight', 'chinese', 'math', 'english', 'gk']feature_names = ['height', 'weight', 'chinese',原创 2021-09-07 03:31:32 · 2591 阅读 · 0 评论 -
[机器学习] XGBoost和传统GBDT的区别
XGBoost(eXtreme Gradient Boosting)是GBDT方法的一种高效、灵活、便携的工程化实现。注意,XGBoost不是一种算法的名称,而是同属于GBDT框架下,一种Boosting的思想。另外,随着代码版本的迭代,很多新特性也被借鉴进来,比如LightGBM中的直方图方法,在2017年就被加入到了XGBoost中。相比传统的GBDT实现,XGBoost(以版本1.4.2为例)区别有以下几点:1、XGBoost损失函数使用二阶泰勒展开作为近似。2、支持自定义损失函数,需要函数一原创 2021-09-07 01:28:50 · 774 阅读 · 0 评论 -
[机器学习] 面试官:听说你对GBDT很熟?
直接看参考文章[1],简单易懂,给作者一个大大的赞。参考文章:[1] GBDT算法原理以及实例理解[2] 梯度提升树(GBDT)原理小结原创 2021-08-31 09:34:40 · 148 阅读 · 3 评论 -
Windows 10安装xLearn 0.44
准备工作:1、首先下载安装Visual Studio 2017,注意一定是2017版本,社区版都可以,注意选择C++开发环境,我这里用的就是社区版2、下载安装CMake,我用的版本是cmake-3.20.1-windows-x86_64.msi源码编译:$ git clone https://github.com/aksnzhy/xlearn.git # 从Git下载源码,当前是0.44版本$ cd xlearn # 切换到xlearn目录下$ mkdir build # 新建一个build目录原创 2021-05-13 19:49:13 · 231 阅读 · 0 评论 -
手撕t-SNE算法
t-SNE(t-Distributed Stochastic Neighbor Embedding)即t分布随机邻近嵌入,类似于PCA,是一种数据降维方法,与PCA不同的是,它是非线性的。SNE假设我们的原始数据矩阵为X∈Rn×mX∈Rn×m\mathbf{X} \in \mathbb{R}^{n \times m},降维后的矩阵为Y∈Rn×2Y∈Rn×2\mathbf{Y} \in ...原创 2018-03-29 14:39:28 · 1421 阅读 · 4 评论