Spark修改为python3.6.5

最新推荐文章于 2022-10-11 17:52:27 发布
最新推荐文章于 2022-10-11 17:52:27 发布
阅读量1.9k 收藏 1
点赞数 2
分类专栏： 大数据组件 文章标签： Spark环境
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a794922102/article/details/87107456
版权

前提：需要安装python3.6.5，请参考本博客其他文章：Centos7安装Python3.6.5

在spark目录下修改文件：

./conf/spark-env.sh

在文件末尾添加

export PYSPARK_PYTHON=/usr/local/src/python3

export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

天天乐见
关注
专栏目录
python3.6.5基于kerberos认证的hdfs,hive连接调用（含基础环境配置）
u012133034的博客
09-10 3985
1需要准备的环境 yum包（需要先装yum包，再装python包，不然会有问题） yum install openldap-clients -y yum install krb5-workstation krb5-libs -y yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 yum...
Python运行Spark集群环境踩坑记录
幸运的Alina的博客
07-07 5076
这一段时间一直在弄spark集群，然后开发使用的是python开发，其中环境的坑多到几度想令我放弃，这也就是公司没有配置专业搭环境的工程师的弊端，遇到事情了只能自己解决，于是自己记录下不同的坑，方便自己以后排雷，也放出来给有需要的人。 1. 在python中配置环境变量注意点 首先就是python环境在集群中必须一致，如果是采用os.environ的方法的话,不然你就会遇到如下的报错 解决...
Spark编程指南——Python版
大数据技术杂谈
04-26 3519
自开源之日至今，Spark已经5岁了。从最初不到4000行代码发展到当下通用大数据处理引擎的有力竞争者，Spark一直保持着小而紧凑，使许多开发人员更容易理解，也让升级起来更加方便。快、通用让Spark如鱼得水，然而对于1个年仅5岁的开源项目来说，其远谈不上尽善尽美，就比如文档相关。近日 @Cholerae从官网翻译了Spark编程指南Python版，并发布于其 个人博客。 以下为原文
CentOS7 linux基于Hadoop的spark单机版安装和python3安装（2021-10-01）
效率
10-01 661
一、基于Hadoop安装spark单机版 1.解压spark相关版本的tgz包到指定目录 2.安装后，还需要修改Spark的配置文件spark-env.sh cp ./conf/spark-env.sh.template ./conf/spark-env.sh 在spark-env.sh添加： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) 作用：使spark可以读写HDFS上的数据。 3.为方便在全局使用spa
Spark中的python shell交互界面Ipython和jupyter notebook
机器会学习的博客
06-18 3405
Spark是一个用来实现快速和通用的集群计算平台.而且提供丰富的接口.Python,java,scala和SQL 1.下载安装 在Ubuntu上,下载预编译版的spark,解压后即可使用.从官网http://spark.apache.org/downloads.html,下载预编译版”Pre-bulid for Hadoop 2.7 and later”,下载后得到一个压缩文件.
解决安装pyspark所遇到的所有问题
weixin_56786688的博客
10-11 3764
Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirm
pyspark使用指定版本的python
一个今天胜过两个明天
07-12 4542
系统中同时装了python2 和python3，如何让spark使用指定的python? 只要在系统中设定一个环境变量PYSPARK_PYTHON 把该环境变量指向对应的python即可。 比如我在windows中添加一个系统环境变量PYSPARK_PYTHON 然后把值指向d:\python3 ...
Java版水果管理系统源码-pyspark_project:Python3实战Spark大数据分析及调度
06-05
Python3实战Spark大数据分析及调度 第1章 课程介绍 一、PySpark导学 第2章 实战环境搭建 一、Python3环境部署 cd software/ wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz tar -zvxf Python-3.6.5...
Spark-Python安装与配置
欧氏空间
05-02 835
在centos下hadoop伪分布式配置及python测试中，我们已经安装好了Hadoop，下面我们来安装Spark。 Scala安装与配置 由于Spark是用Scala编写的，所以我们要先安装Scala。 $ wget -P ~/download/ https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz $ cd ~/downl...
python实现监控sparkStreaming并失败重启
qq_29497387的博客
08-29 389
python实现监控sparkStreaming并失败重启 本博客实现了对mysql,hive,sparkStreaming的监控，具体步骤如下： 1.安装依赖 安装wheel pip install wheel 安装sasl pip install D:\python\sasl-0.2.1-cp36-cp36m-win_amd64.whl 注:需要下载与python 版本对应的sasl,我的...
pyspark修改python版本
武西亮的博客
08-24 5243
ubuntu自带的python 版本是2.7， 我们要把pyspark默认改成anaconda python 3.6 down vot You can specify the version of Python for the driver by setting the appropriate environment variables in the ./conf/spark-env.sh ...
pyspark采用python3开发
weixin_33921089的博客
04-17 1149
现在时间2017-04-17。   python版本3.5支持pyspark python3.6目前还不支持   做法简单，只需要在bin/pyspark中增加 export PYSPARK_PYTHON=python3  再次打开bin/pyspark即配置完成pyspark采用python3.   如果想使用ipython，则增加下面两行到bin/pyspark中 expo...
关于Spark-2.1.0与python3.6及以上版本不兼容问题
m0_43451882的博客
04-16 3476
关于Spark-2.1.0与python3.6及以上版本不兼容问题 前两天在Ubuntu16.04上安装Anaconda3时，其自动将python3.5升级至3.7版本，导致pyspark无法正常启动，不知道怎么回滚到3.5版本，使用whereis python命令后将有关python3.7的文件全部删除，包括/root/anaconda3/bin/python，导致jupyter无法启动，pys...
Python3：Python+spark编程实战 总结
proplume的博客
04-08 6万+
不宜妄自菲薄，引喻失义。 0、前提 0.1 配置 可参考： windows上配置 Python+spark开发环境 0.2 有关spark 说明： spark 不兼容 Python3.6 安装注意版本 可下载： anaconda4.2 一、实例分析 1.1 数据 student.txt 1.2 代码 #studentExample 例子 ...
python3.6 下的spark搭建
qq_34504626的博客
09-27 1406
python3.6下的spark搭建 一、前言 这是AllenXue的第一条blog，可能会很low，但是绝对是非常有意义的，自认为本人是为数不多的长得比较帅的程序员（虽然有点小胖），这条blog也是开启疯狂学习模式的起点。本人在学习过程中，如果有学习心得会在第一时间分享给大家。 二、关于spark Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实...
spark2.1 和 python3.6的问题
sisteryaya的博客
05-19 1万+
spark不支持python3.6 不用卸载python，用anaconda的环境切换就行了 1. 先创建一个新的开发环境: conda create -n my_new_env_python35 2. 激活这个新的开发环境: activate my_new_env_python35 3. 在这个新的开发环境中安装python 3.5: conda install python=3.5
关于java.util.NoSuchElementException错误的一则例子
热门推荐
跌跌撞撞 从头开始
07-13 14万+
写了一个从A文件复制到B文件的例子，其中要求去掉重复的行。于是想到了Set，这本来是很容易的事情，结果在向外写数据时抱错java.util.NoSuchElementException网络上反复查证也没有相关的内容，于是自己慢慢的找，终于找到了。下面写出这个错误的例子及分析，希望能及时的帮助和我同样犯了小错误的菜鸟！import java.io.BufferedReader;imp
03-更改pyspark的python版本
我心自在天的博客
07-29 1248
把pyspark的python解释器更改为python3 找到文件 spark-env.sh.template： docker exec -it spark-master bash cd spark/conf 注： 我的spark文件都放在docker中，所以命令对docker进行的操作 创建文件命令：touch x.txt 删除文件命令：rm x.txt 对spark-env.sh.template操作 复制并重命名文件 cp spark-env.sh.template spark-env.sh
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值