使用 WSL 进行pyspark + xgboost 分类+特征重要性 简单实践

最新推荐文章于 2023-08-04 19:42:15 发布
最新推荐文章于 2023-08-04 19:42:15 发布
阅读量672 收藏 2
点赞数
分类专栏： 大数据机器学习实践探索 基于大数据的机器学习原理与最佳实践 文章标签： pyspark xgboost 机器学习 特征重要性
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyaninglm/article/details/118196915
版权

这里写目录标题

wsl 简介与安装

WSL 是 Windows Subsystem for Linux windows下的linux子系统，由于直接在windows 上安装pyspark 跑很多基于linux 的库的机器学习库很费劲，有什么办法是省时省力并且占用资源少的方式呢？相比虚拟机动辄8g 左右的内存占用量，wsl 当然是一个非常好的选择。

windows 的说明文档 比以前有了很大进步，以前很多系统设置都得去百度搜半天，现在好了，文档写的很清楚

离线安装wsl

一般来说，都是从应用商店安装，但是现在来说，众所周知的原因，网络不是特别稳定，所以可以离线下载后使用powershell 安装，下载后大约是一个 4、5 百M 的文件：Ubuntu_2004.2020.424.0_x64.appx

下载wsl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
shiter
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
Python中XGBoost的特性重要性和特性选择
liuzh的博客
03-27 1万+
使用像梯度增强这样的决策树方法的集合的一个好处是，它们可以从经过训练的预测模型中自动提供特征重要性的估计。 在这篇文章中，您将发现如何使用Python中的XGBoost库估计特性对于预测建模问题的重要性。 读完这篇文章你就会知道: 如何使用梯度增强算法计算特征的重要性。 如何在Python中绘制由XGBoost模型计算的特性重要性。 如何使用XGBoost计算的特性重要性来执行特性选择。 让我们开...
pyspark随机森林重要性
weixin_42237388的博客
02-22 491
from pyspark.ml import Pipeline from pyspark.ml.classification import RandomForestClassifier from pyspark.ml.linalg import Vectors from pyspark.sql import SparkSession import pandas as pd from pyspar...
pyspark 随机森林重要性
weixin_42237388的博客
02-22 410
废话不多说,直接上代码! ```python from pyspark.ml import Pipeline from pyspark.ml.classification import RandomForestClassifier from pyspark.ml.linalg import Vectors from pyspark.sql import SparkSession import p...
WSL搭建Hadoop与Spark环境
文艺圈不知名刘先生
03-20 1318
❤❤❤ 文章目录jdk安装下载解压检验Hadoop安装下载解压检验Hadoop伪分布式模式配置文件配置修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml测试HDFS启动sshNameNode格式化启动dfs查看hadoop页面YARN单机配置修改mapred-site.xml修改yarn-site.xml查看资源管理页面Spark安装下载spark解压配置环境配置Spark修改spark-env.sh启动启动pyspark ❤❤❤ jdk安装 下载 首先在oracle
pyspark sparksession_在pyspark上使用xgboost
weixin_39796363的博客
11-26 202
xgb是机器学习业界常用模型，在spark上不像RF等有现成的build in model，所以需要自己弄一下，不过也不是很难。1. 预备工作首先需要下两个jar文件，xgboost4j-spark-0.72.jar 和xgboost4j-0.72.jar，链接如下。之后要下载一个sparkxgb.zip，里面包括了pyspark代码去call jar文件以及set up一些参数。xgboost4...
wsl-dotfiles：WSL 2 Ubuntu + Windows Terminal + Docker + VS代码
02-17
1.启用WSL2 以管理员身份（已提升权限）在PowerShell中运行： Enable-WindowsOptionalFeature - Online - FeatureName Microsoft - Windows - Subsystem - Linux Enable-WindowsOptionalFeature - Online - ...
systemctl (WSL2+Centos7错误)
03-25
解决错误Failed to get D-Bus connection: Operation not permiited（WSL+Centos7错误） mv /usr/bin/systemctl /usr/bin/systemctl.old #备份旧文件 cp systemctl /usr/bin/systemctl #替换 chmod +x /usr/bin/...
WSL2+Docker+IDEA一站式开发、docker远程调试
05-18
WSL2+Docker+IDEA一站式开发环境搭建文档、idea对docker容器远程调试
VSCode + WSL 2 + Ruby环境搭建图文详解
10-15
首先，开启Win10的WSL功能至关重要。这可以通过在“控制面板”中启用“适用于Linux的Windows子系统”和“虚拟机平台”两个功能来实现。接着，需要更新到WSL 2，这是一个改进的版本，提供更快的性能和更接近原生Linux...
wsl+xfce4+vnc教程.pdf
04-10
wsl+xfce4+vnc教程.pdf该教程详细介绍了微软公司的电脑系统也就是视窗系统windows系统的windows10下的子系统利用xfce4+vnc实现远程桌面的教程，本人实验优于Xmananer,vncserver等方法
基于python与XGBoost实现二分类
07-11
基于python与XGBoost实现二分类 基于论文“XGBoost: A Scalable Tree Boosting System”
Spark机器学习中的常用算法特征重要性筛选FeatureScore
Buevara的博客
08-06 2716
1 logisticRegression 2 randomforest 3 xgboost https://stackoverflow.com/questions/62769574/spark-xgboost4j-how-to-get-feature-importance https://cloud.tencent.com/developer/ask/216071
pyspark 对xgboost操作记录（待续）
平原的博客
05-18 449
大数据集群安装搭建请参考这个链接，很详细。 1、连接pyspark，配置xgboost import pandas as pd from pyspark.sql.functions import col from pyspark.sql import SparkSession from pyspark.ml import Pipeline,PipelineModel from sklearn.utils import shuffle from pyspark.sql import functions fro
单例模式5种实现方式
lcjjy666的博客
11-04 1079
一个类始终保证只有一个对象，这种模式称为单例模式。 优点：不需要反复创建与回收对象，节约内存空间，调用执行效率高 缺点：并发操作会造成线程不安全 懒汉模式： public class SingleOne { private static SingleOne single; private SingleOne() {} public static synchronized SingleOne getInstance() { if(single == null) { single = new SingleOne
pyspark学习之——特征提取、转换与选择
a_dreaming的博客
12-14 2300
       记录pyspark的MLlib库学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解。spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-features.html 目录一、特征提取1.1 TF-IDF1.1.1 TF1.1.2 IDF1.1.3 实例1.2 Word2Vec二、特征转换2.1 Tokenizer2.2 StopWor.
pyspark使用XGboost训练模型实例
Toby的博客
08-04 1503
pyspark训练Xgboost模型
【项目实战】Python实现xgboost分类模型(XGBClassifier算法)项目实战
热门推荐
胖哥真不错的博客
11-05 1万+
说明：这是一个机器学习实战项目（附带数据+代码+文档+代码讲解），如需数据+代码+文档+代码讲解可以直接到文章最后获取。 1.项目背景 随着大数据时代的到来，具备大数据思想至关重要，人工智能技术在各行各业的应用已是随处可见。金融机构因车辆贷款违约而遭受重大损失。这导致汽车贷款承销收紧，汽车贷款拒收率上升。这些机构也提出了建立更好的信用风险评分模式的必要性。这值得进行一项研究，以估计车辆贷款违约的决定因素。金融机构想要准确预测贷款人/借款人在到期日第一个 EMI（等同于每月分期付...
Spark实现xgboost多分类(python)
rosefun96的博客
07-02 8954
1. spark-xgboost Java包 主要需要xgboost4j-spark-0.90.jar, xgboost4j-0.90.jar, 以及 调用代码 sparkxgb.zip. GitHub上面有xgboost java 实现的包，链接：xgboost; 但我省事，用了zhihu xgboost的分布式版本(pyspark)使用测试 的下载链接。 注意，xgboost 的版本号 和sparkxgb内的内容对应。 2. xgboost多分类 我是使用pyspark 运行，通过 pyspark --
Pyspark分类--GBTClassifier
weixin_46408961的博客
03-11 4264
GBTClassifier class pyspark.ml.classification.GBTClassifier(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfoGain=0.0, maxMemoryInMB=256, cacheNodeIds=False, checkpointInterval=10,
WSL2+VS code 环境搭建
最新发布
04-23
搭建WSL2+VS Code环境可以让你在Windows系统上享受到Linux环境的便利，并且使用VS Code进行代码开发。 以下是搭建WSL2+VS Code环境的步骤： 1. 安装WSL2： - 打开Windows PowerShell（管理员权限）。 - 运行以下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值