anaconda配置spark_快速搭建你的Spark开发环境

本文介绍了如何在本地配置pyspark单机练习环境,包括Java安装、Spark下载与解压、findspark安装以及在遇到问题时的备用方案——使用云端notebook。此外,还讲解了pyspark的运行方式,如通过pyspark交互式环境、spark-submit提交任务、zepplin notebook和在Python环境中调用pyspark库。最后,文章提供了通过spark-submit提交任务时常见的问题及其解答,涉及excutors中安装库、添加Python脚本和配置文件的方法。
摘要由CSDN通过智能技术生成

公众号后台回复关键字:pyspark,获取本项目github地址链接。

一,搭建本地pyspark单机练习环境

以下过程本地单机版pyspark练习编程环境的配置方法。

注意:仅配置练习环境无需安装hadoop,无需安装scala.

1,安装Java8

下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意避免安装其它版本的jdk否则可能会有不兼容spark的情况。注意设置JAVA_HOME,并添加它到默认路径PATH中

WINDOWS下安装jdk8详细教程可以参考:

https://www.cnblogs.com/heqiyoujing/p/9502726.html

安装成功后,在命令行中输入 java -version,可以看到类似如下的结果。

ccd3d5d4261b3142c22cb82514de4fd9.png

2,下载解压spark

spark官网下载: http://spark

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值