关于Windows下如何搭建Spark和Python以及如何在jupyter下使用

最新推荐文章于 2024-02-18 14:44:39 发布
最新推荐文章于 2024-02-18 14:44:39 发布
阅读量489 收藏 2
点赞数
文章标签： python java scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_Pi555/article/details/115360873
版权
本文详细介绍了在Windows上安装JAVA JDK、Scala、Spark，并配置Hadoop模块的过程，以及如何在Jupyter下使用PySpark。首先，强调了JDK版本的重要性，然后分别讲述了各个软件的下载、安装、配置环境变量的步骤，最后提到了通过设置环境变量将PySpark与Jupyter Notebook集成。
摘要由CSDN通过智能技术生成

最近学习Spark，琢磨着习惯于用Python，于是有了以下情况.前提:你已经安装了jupyter

目录

一、安装JAVA JDK

首先你需要注意你的电脑支持位数，我的是x64，右键点击此电脑，点击属性即可查看

在这里插入图片描述

友情提示！
以前的JDK版本安装后，后面spark安装将会出现即使你添加了环境变量依旧找不到路径现象。
我已踩坑，我琢磨着好像以前老版本的jdk协议有了一些改动，所以尽量与我的版本一样。
卸载方式：软件管家，或者直接电脑的应用功能中卸载，注意java se,java updata都要卸载。

完事后下载jdk
官网: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

或者我的百度云：链接: https://pan.baidu.com/s/1EZfQNMmS5PqRzay7tnyQyA
提取码: xy59

下载完后你将看见

最低0.47元/天 解锁文章
朴实无华的皮先生
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark配置安装，和jupyter的安装
a2639491403的博客
04-07 1547
在配置之前，先准备好：              spark-2.2.0-bin-hadoop2.7.tgz               Anaconda3-5.1.0-Linux-x86_64.sh解压spark：              tar -zxvf spark-2.2.0-bin-hadoop2.7配置spark环境：                           echo  ...
Spark的jupyter notebook开发环境搭建及pyspark的使用
ChungChinKei' blog
08-12 1261
开启服务 启动Hadoop，Spark并开启jupyter notebook的远程服务： [root@DW1 ~]# start-all.sh # 我把spark的start-all.sh更名为start-spark-all.sh，不然有与hadoop重名的风险 [root@DW1 ~]# start-spark-all.sh # root用户要加--allow-root [root@DW1 ~]...
spark在windows下使用jupyter设置
z2539329562的博客
06-28 1046
@echo off rem rem Licensed to the Apache Software Foundation (ASF) under one or more rem contributor license agreements. See the NOTICE file distributed with rem this work for additional information...
在windows上面安装并用jupyter运行pyspark
weixin_30252155的博客
12-15 371
1，下载hadoop winutils设置HADOOP_HOME 2、下载spark，设置SPARK_HOME，将%SPARK_HOME%/加入到PATH路径下 3、安装Anaconda就是python及一些相关Python包，设置 4、设置PYTHON_HOME 5、设置PYSPARK_DRIVER_PYTHON=ipythonPYSPARK_DRIVER_PYTHON_OPTS...
在jupyter中使用Spark
weixin_34297704的博客
10-02 1080
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux下搭建Spark 的 Python 编程环境的方法
09-15
在Linux系统中搭建Spark的Python...以上就是在Linux环境下搭建Spark的Python编程环境的详细步骤，以及在Jupyter中使用PySpark的方法。通过这些步骤，你可以顺利地开始Spark与Python的结合开发，进行大数据处理和分析。
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
spark以及大数据在windows下搭建环境的完全文档
04-19
Java、scala、maven、idea、spark、以及python环境的搭建文档
Python搭建Spark分布式集群环境
09-19
主要介绍了Spark分布式集群环境搭建基于Python版，Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。100 倍本文而是使用三台电脑来搭建一个小型分布式集群环境安装,需要的朋友可以参考下
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
jupyter notebook的搭建、连接jupyter与spark
LSlscool的博客
06-07 1758
安装python 更新软件包 sudo apt-get update 没想到出错了 上网查了资料，找到了一个解决办法 切换到国内源，使用清华大学开源软件镜像站 网址：https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/ 打开文件，将其中内容全部替换成以下内容 sudo cp /etc/apt/sources.list /etc/apt/sources_default.list sudo vim /etc/apt/sources.list 再次更新软件包
window下jupyter(anaconda)中使用findspark配置spark
百物易用是苏生
07-07 6932
上一篇讲完zeppelin配置spark，zeppelin启动太慢了，经常网页上interpreter改着就卡死，需要后面zeppelin.cmd窗后点击才有反应，而且启动贼慢。 因为本来就安装了Anaconda2，索性给jupyter也配置上spark； 查阅资料有两类： 方法一：给jupyter 安装上jupyter-scala kernerl 和jupyter-spark ...
win7 64位，jupyter+spark核的安装
大顺粑粑的博客
08-07 1753
win7 64位，jupyter+spark核的安装jupyter+spark的安装，网上比较多的都是LINUX环境下的教程，在win环境的几乎没有。刚刚本人在win7的电脑上安装成功了，先看看效果如何： 二话不说，我们马上开始 - python 下载的anaconda4.2.0的64位版本，py版本是3.5 下载地址：https://repo.continuum.io/archive/An
基于Jupyter平台通过python实现Spark的应用程序之wordCount
pardy原创
11-12 2031
1、启动spark平台，界面如下： 2、启动Jupyter，界面如下图所示： 如果你对以上启动存在疑问的话，请看我的上一篇博客，关于Jupyter配置Spark的。 3、功能分析 - 我们要实现的一个功能是统计词频 - 我们需要把统计的文件上传到hdfs里面 - 编写python脚本 4、代码实现 - 上传文件到hdfs 我有一个hello.txt文件，里面有两行
Spark——在Windows单机安装spark
Tubby的博客
03-12 2926
Windows安装spark下载安装Java，安装版本为8下载spark安装包下载Hadoop支持包下载并安装pycharm和anaconda配置pycharm运行spark环境spark读取本地文件格式： 下载安装Java，安装版本为8 Java8下载地址 安装教程详见：菜鸟教程—Java安装 下载spark安装包 spark2.3.3下载地址 建议安装2.3.3版本，高版本的2.4.0在运行时...
最通俗易懂的 Windows10 下配置 pyspark + jupyterlab 讲解（超级详细）
masonsxu的博客
04-14 2807
最通俗易懂的 Windows10 下配置 pyspark + jupyterlab 讲解（超级详细） 一、所需组件版本说明 Java JDK：1.8.0.242（这里我使用的是openjdk解压缩版本，oracle jdk只有exe的安装版本） spark-2.4.5-bin-hadoop2.7 hadoop-2.7.7 scala-2.13.1 hadooponwindows-master（适合Hadoop 2.7.*版...
Jupyter Notebook Python, Scala, R, Spark, Mesos
最新发布
weixin_40441289的博客
02-18 905
在Docker中运行Jupyter/Spark/Mesos服务。 来源［英］：https://github.com/jupyter/docker-stacks/tree/master/all-spark-notebook Spark on Docker，基于Jupyter Notebook Python, Scala, R, Spark, Mesos技术栈，提供一个远程操作的模型和任务编...
win7系统下，搭建python+jupyter notebook+spark
YSH55024的专栏
07-23 1254
1、python的下载及安装 下载地址：https://www.python.org/getit/   ，有python2和Python3版本的，根据所需自行下载，我下载的是pyhton2的版本，着重说一下python2吧，打开首页下载地址后，我选择最新版本，   然后跳转到包含所有python2.7.15版本的页面，如图，windows版本的有两个，windows x86-64 MSI i...
jupyter安装及配置scala、spark、pyspark内核
热门推荐
moledyzhang的博客
12-20 1万+
安装 jupyter和python本文使用Anaconda安装jupyter。 Anaconda可以看做Python的一个集成安装，安装它后就默认安装了python、IPython、集成开发环境Spyder和众多的包和模块也可参照https://docs.anaconda.com/anaconda/install/linux进行安装下载 AnacondaAnaconda的官网下载地址https:/
如何在jupyter lab上使用pyspark
05-21
要在Jupyter Lab中使用PySpark，需要执行以下步骤： ...注意：在使用PySpark时，建议使用Jupyter Notebook或Jupyter Lab的Python 3内核。另外，如果您使用的是Windows操作系统，则需要手动设置环境变量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值