window安装python3后怎么用pyspark_在windows上面安装并用jupyter运行pyspark-阿里云开发者社区...

本文档详述了在Windows上安装Python 3后配置和使用PySpark的步骤,包括安装Anaconda、GOW(Gnu on Windows)、Spark及Winutils,设置环境变量,并在Jupyter Notebook中启动PySpark进行测试。
摘要由CSDN通过智能技术生成

intro

首先,这里介绍的方法很基本,大牛可以绕过了。

由于个人的测试需要,打算在自己的pc上面安pyspark,来熟悉MLlib。

翻了一下bing和狗,方法不少,试了linux虚拟机安装,vmware 下cloudera的安装。走到后面都会发现,这些方法并不合适,或者对机器有要求,或者对安装者的背景有要求。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

正文分隔行

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

这里主要是把原文的方法列一下,加上我碰到的一些问题。

1,安装Anaconda 和 GOW(Gnu on windows)

前者的安装我就不写了。地址是:https://repo.continuum.io/archive/

我的机器上面装的miniconda。

GOW的地址:https://github.com/bmatzelle/gow/releases/download/v0.8.0/Gow-0.8.0.exe

GOW的作用是在cmd下面执行linux 命令。安装结束之后可以运行:

gow --list

如果安装正确,可以返回

Available executables: awk, basename, bash, bc, bison, bunzip2, bzip2, bzip2recover, cat, chgrp, chmod, chown, chroot, cksum, clear, cp, csplit, curl, cut, dc,dd, df, diff, diff3, dirname, dos2unix, du, egre

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值