[Spark]Spark与Anaconda配置（Python）

最新推荐文章于 2024-08-31 22:36:43 发布
最新推荐文章于 2024-08-31 22:36:43 发布
阅读量1.2w 收藏 4
点赞数 1
分类专栏： 问题解决方案 文章标签： linux spark python Anaconda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010536377/article/details/50972570
版权
本文主要介绍了Python开发者如何在Linux环境中配置Anaconda以配合Spark使用。通过修改bash_profile文件，确保在运行pyspark时能够利用Anaconda的Python环境。
摘要由CSDN通过智能技术生成

对于Python开发者来说，使用Anaconda是很爽的。linux安装好后，如何在pyspark中也可以使用Anaconda呢？这里笔者研读了下pyspark的脚本，这里给出解决方案。

安装Anaconda后，需要配置下bash_profile文件。

export PYSPARK_PYTHON=/home/peiwen/anaconda2/bin
export IPYTHON="1"
（PS：直接在pyspark脚本前面加上export IPYTHON="1"也是很不错的选择）
并且将PYSPARK_PYTHON添加到PATH中去。
我的配置文件如下：
最低0.47元/天 解锁文章
mapw1993
关注
专栏目录
Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。(1)
2401_84182507的博客
04-28 1485
1-如何安装PySpark？Linux的Anaconda安装2-如何安装anconda？3-Anaconda有很多软件4-Anaconda中可以利用conda构建虚拟环境5-如何查看conda创建的虚拟环境？PySpark安装查看启动结果简单的代码演示在虚拟环境下的补充webuiJupyter环境设置监控页面运行圆周率或者def pi(times): # times的意思是落入到正方形的次数x_time = 0。
pyspark安装系列（2）：Spark里使用anaconda（详细部署流程）
大柳的博客
04-03 3568
介绍 上一篇文章，详细介绍了如何在Linux系统安装Spark。 详细了解请点击：Linux系统安装单机版Spark 但还遗留一个问题，就是PySpark使用的是Linux默认的Python2.7.5版本（见下图）。 对于习惯使用Python3.0版本的我来说感觉超级不爽，另外笔者本人更喜欢Anaconda，特别对于主要使用工具是Python的算法人员来说，使用Anaconda是很爽的。Anac...
python学习之路 - PySpark快速入门
最新发布
qq_41444892的博客
08-31 1356
pyspark快速入门
Anaconda3使用Spark的正确方法
美国梦中国心
08-26 2007
Anaconda中使用Spark的办法
Spark和Anaconda结合
marho
10-20 4790
安装Anaconda后，编辑~/.bashrc或者~/.bash_profile文件：export PATH=/yourpath/anaconda2/bin:$PATH然后使用ipython启动spark shellPYSPARK_DRIVER_PYTHON=ipython $SPARK_HOME/bin/pyspark就可以在pyspark shell中使用Anaconda中的python工具包了
在Linux环境下搭建ananconda，并且搭建python环境
2202_75334392的博客
09-29 1183
输入下面这个指令，显示虚拟环境列表，可以看到自己刚才创建好的环境以及路径。则输入下面的代码：（下载wget）打开终端：（选择你需要的版本）
spark三种模式部署安装（基于Anaconda3实现spark编程）
03-25
### Spark的三种部署模式与基于Anaconda3的Python编程实现 #### 一、Spark的部署模式 Apache Spark作为大数据处理领域的重要工具之一，其部署模式的选择对于应用性能有着至关重要的影响。Spark支持三种主要的部署...
大数据环境搭建hadoop，hive，spark，Python，anaconda
qq_34707973的博客
11-21 636
大数据环境搭建hadoop 对于一些想从事大数据工作的童鞋们，在自己的电脑搭建一个大数据环境是很有必要的，直接开始吧。 如何在自己的电脑搭建一个虚拟的集群环境： 1、安装虚拟机 （包括linux系统：笔者使用ubantu 16.04） http://dblab.xmu.edu.cn/blog/2760-2/#more-2760 2、安装hadoop2.X（伪分布式） 包括java环境 （笔者使用hadoop版本：2.7.7 java版本：1.8.0_162） http://dblab.xmu.edu.cn
spark python3_Python+spark配置，多版本Python兼容问题
weixin_39787826的博客
11-24 1461
1、安装spark此处安装spark2.3.0版本2、安装Python根据已经安装的spark版本选择需要的Python版本，比如我的电脑安装的是spark2.3.0，选择的对应的Python版本就不能超过3.5，我个人喜欢安装anaconda集成的Python，对应的anaconda版本为3.4.21）bash bash Anaconda3-4.2.0-Linux-x86_64.sh2）修改环境...
Python3：Python+spark编程实战
01-27
0.1配置可参考：0.2有关spark说明：spark不兼容Python3.6安装注意版本可下载：anaconda4.21.1数据student.txt1.2代码1.3结果展示2.1函数解析2.1.1collect()RDD的特性在进行基本RDD“转换”运算时不会立即执行，结果...
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Hadoop集群搭建和配置
2202_75334392的博客
09-14 706
（CentOS和Windows这两台机子通过虚拟网关互联，虚拟网关由VMware workstation生成，在Windows上会生成一个虚拟网卡VMnet8，这个网卡地址和本机的物理网卡没有关系）在VMware workstation的菜单 编辑 -> 虚拟网络编辑器 可以查看和修改虚拟网关地址。（<value> </value>）标签内填上自己的安装路径，和修改主机名称，从hadoop官网下载速度太慢了，下面我们采用清华源下载，或者百度网盘下载。接着在共享文件目录下面，打开终端（jdk版本自己修改）
python：windows搭建spark环境（anaconda+pycharm）
weixin_44695491的博客
12-21 2595
一、anaconda部分配置 1、安装 在官网下载安装包，https://www.anaconda.com/products/individual，选择windows版本进行下载。下载完成后直接安装，一直点下一步就行。 2、配置环境变量 将下面三个加入电脑的环境变量Path中，我的anaconda安装路径是D:\professional_app\anaconda，大家按照直接的安装路径进行修改。 D:\professional_app\anaconda D:\professional_app\anacon
Anaconda与Spark整合
potter
05-21 2761
1、软件下载Anaconda官网2、软件安装双击下一步，就可以了。3、测试使用4、Pycharm与anaconda关联将Python27里面的这两个文件放入C:\ProgramData\Anaconda2\Lib\site-packages 目录 如果这个里面没有Anaconda/python.exe。需要：Site-packages下有刚刚添加的文件：代码开发，运行结果正常：#! /usr/bi...
在windowns下安装Anaconda3运行spark
weixin_30487201的博客
10-16 680
1. 准备工作 1.1需要的软件： Anaconda3-5.0.0-Windows-x86_64 hadoop-2.7.4 jdk1.8+ spark-2.2.0-bin-hadoop2.7 1.2下载软件 Anaconda 官网下载地址：https://www.continuum.io/downloads 目前最新版本是 python 3.6...
Anaconda3.4.2配置pyspark环境，win7无hadoop
公众号：瑞行AI
11-03 1万+
（一）首先安装Anaconda3.4.2你也可以安装别的版本的，只要查好支持pyspark就行。Anaconda的各种版本下载在参考http://blog.csdn.net/cymy001/article/details/78107240 。下面按我自己配置环境时使用的Anaconda3.4.2为例进行说明。安装完Anaconda3.4.2之后，配置系统变量 D:\PYTHON35\Anacond
Anaconda虚拟环境下安装pyspark
apachezero的博客
04-23 5451
python=3.6.8 1.conda install pyspark 2.安装spark低版本(spark-2.4.8-bin-hadoop2.7) 3.配置spark环境（SPARK_HOME/bin） 4.安装java8(环境配置JAVA_HOME/bin) 5.官网安装hadoop（hadoop-3.2.3） 6.github下载对应hadoop版本的winutils.exe黏贴到hadoop的bin目录（3.2.1） 7.打开anaconda虚拟环境，直接输入pyspark命令检查
Spark安装与配置：Anaconda3环境下的三种模式实战
文章着重讲解了Spark Local模式的安装与配置，同时也提及了Spark在集群模式下的运行方式。 Spark安装流程： 1. 确保Hadoop版本在3.0.0及以上，因为Spark 3.2.0是与Hadoop 3.2兼容的。 2. 将Spark安装包解压缩到特定...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值