linux环境安装pyspark

最新推荐文章于 2023-12-18 14:29:39 发布
最新推荐文章于 2023-12-18 14:29:39 发布
阅读量265 收藏
点赞数
文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37684231/article/details/115874049
版权
本文档介绍了如何在Ubuntu 18.04系统上安装PySpark，包括Java 8、Scala的安装，Py4J的配置，Spark的下载与环境变量设置，以及启动pyspark和在Jupyter Notebook中使用PySpark的方法。
摘要由CSDN通过智能技术生成

操作系统：Ubuntu 18.04,64位。
所需软件： Java 8 +，Python 3.7 +, Scala 2.11.12+

安装步骤：
Step 1: Java 8安装

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

安装成功后，会显示如下画面：
在这里插入图片描述
Step 2: 如果Java安装完成后，我们安装Scala：

wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
sudo dpkg -i scala-2.12.8.deb
scala -version

安装成功后，会显示如下画面：

最低0.47元/天 解锁文章
山河念远之追寻
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Linux 安装 pySpark
JanLEE
01-23 770
1、安装Java和Scale。 1.1、Java 参考 Java 安装运行 1.2、Scale安装 1）下载并解压 官网地址：https://www.scala-lang.org/download/ wget https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz tar -zxvf scala-2.13.1.tgz mv scala-2.13.1 scala 2）配置 vim /etc/profile SCALA_HOME=/
Linux下搭建PySpark环境
u011250186的博客
12-15 887
linux版scala：https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz linux/windows通用版spark：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz linux/windows通用版hadoop：https://mirrors.tuna.tsinghua.edu.cn/apach...
Linux上安装pyspark
m0_52537576的博客
02-26 1433
教你安装pyspark，亲测有效
Linux下配置pyspark环境
WGS.
03-22 1628
文章目录下载安装包解压文件在启动PySpark之前，需要设置以下环境来设置Spark路径和 Py4j路径现在我们已经设置了所有环境，让我们转到Spark目录并通过运行以下命令调用PySpark shell 下载安装包 https://spark.apache.org/downloads.html 这里就安装最新版了 解压文件 tar -zxvf /export/spark-3.1.1-bin-hadoop2.7.tgz -C /export/service/ 在启动PySpark之前，需要设置以下环
linux目录下pyspark,Linux下搭建PySpark环境
weixin_34475212的博客
04-29 139
安装spark：tar -zxvf ./spark-2.4.3-bin-hadoop2.7.tgz -C ./sparkexport SPARK_HOME=/home/service/spark-2.4.5-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$PATH安装hadoop：tar -zxvf ./hadoop-2.6.0-cdh5.8.5.tar.gz ...
linux安装pyspark_Linux下搭建PySpark环境
weixin_39575212的博客
12-22 481
安装spark：tar -zxvf ./spark-2.4.3-bin-hadoop2.7.tgz -C ./sparkexport SPARK_HOME=/home/service/spark-2.4.5-bin-hadoop2.7export PATH=$SPARK_HOME/bin:$PATH安装hadoop：tar -zxvf ./hadoop-2.6.0-cdh5.8.5.tar.gz ...
linux安装pyspark_PySpark笔记(一)：Spark简介与安装
weixin_34469152的博客
01-27 792
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好 适用于数...
linux虚拟机搭建pyspark环境
诗蕊的专栏
06-30 6279
搭建linux虚拟机 下载virtualbox，下载地址：https://www.virtualbox.org/wiki/Downloads，然后安装。 下载centos操作系统，http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso，然后在virtualbox中新建虚拟机。 创建名字...
Linux下搭建Spark 的 Python 编程环境的方法
09-15
主要介绍了Linux下搭建Spark 的 Python 编程环境的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
spparks.tar.gz_SPPARKS_kmc开源软件
09-23
spparks用于KMC并行计算的开源软件包
spyglass详细安装教程
08-10
spyglass详细安装教程
python 安装pyspark_Python学习—PySpark环境搭建
weixin_34873798的博客
02-03 2853
PySpark是Python整合Spark的一个扩展包，可以使用Python进行Spark开发。而PySpark需要依赖Spark环境，Spark需要依赖Hadoop环境，而且，本地环境需要安装JDK和Scala。一、环境准备Scala环境搭建，本例环境为2.11.8JDK环境搭建，本例环境为jdk1.8Python环境准备，本例环境为Anaconda，版本为python 3.7说明本例中假设上述...
Linux服务器下PySpark环境安装
热门推荐
js010111的博客
01-30 1万+
Linux服务器下PySpark环境安装 一、JDK安装 ​ 1. 下载JDK安装包 ​ 进入Java官网下载对应的JDK版本，建议下载较早的版本，可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar，下载完毕适用Xftp7上传至服务器并解压。 tar -zxfv jdk-8u321-linux-x64.tar 2. 修改 `/etc/profile` 文件，添加环境变量配置信息。 vim /etc/profile ​ 在文件末尾添加如下的配置信息 export JAVA_HO
Linux离线安装pyspark与尝试使用pyspark连接数据库
ml_hhy的博客
09-28 3113
首先第一步: 安装anconda(并且带上了pandas, numpy, scikit-learn)流程 1, 首先安装anconda2 ./Anaconda2-5.2.0-Linux-x86_64.sh 2, 配置全局变量 vi /etc/profile 将anaconda2的所在的bin加入到profile文件最后一行 export PATH=/home/anaconda2/bin:$PATH...
Linux 环境安装Pyspark
最新发布
qq_65960840的博客
12-18 933
1.将下载好的安装包上传到linux系统中2.解压安装包按回车多次按空格，直到看到最后时候输入yes再次输入yes输入想要安装的路径，注意：最后一个anaconda3是安装时候自动创建的文件夹，所以要保证上一个目录下没有anaconda3这个文件夹。输入yes后，继续回车然后等待安装。安装完成。
linux搭建pyspark环境，本地pycharm使用远程连接
yuxj的博客
11-07 2027
linux搭建pyspark环境，本地pycharm使用远程连接
linux安装pyspark
09-01
要在Linux上安装Pyspark，你可以按照以下步骤进行操作： 1. 首先，下载并解压Pyspark。你可以使用wget命令下载Pyspark的压缩包，例如：wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz。然后使用tar命令解压压缩包，例如：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz。 2. 将解压后的Pyspark文件夹移动到你想要安装的位置。例如，你可以使用mv命令将文件夹重命名为spark，并将其移动到/usr/local目录下，即：mv spark-2.4.4-bin-hadoop2.7.tgz spark。 3. 编辑/etc/profile文件，将Pyspark的路径添加到环境变量中。你可以在文件末尾添加以下两行命令： export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin 同时，你还可以添加SPARK_PYTHON变量来指定Pyspark使用的Python编译器，例如：export SPARK_PYTHON=/usr/local/bin/python3。 4. 刷新配置文件，使其生效。你可以运行source /etc/profile命令来刷新配置文件。 5. 验证Pyspark安装是否成功。你可以打开终端并运行pyspark命令来启动Pyspark。如果一切正常，你将看到类似以下信息的输出： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 3.2.0 /_/ Using Python version 3.7.7 (default, Jan 28 2022 17:56:52) Spark context Web UI available at http://VM-20-8-centos:4040 Spark context available as 'sc' (master = local[*], app id = local-1643543698074). SparkSession available as 'spark'. 这样，你就成功地在Linux上安装了Pyspark。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Linux服务器下PySpark环境安装](https://blog.csdn.net/js010111/article/details/122755433)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Linux 安装 pySpark](https://blog.csdn.net/m0_55389447/article/details/122658477)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山河念远之追寻

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值