Python搭建Spark环境（Mac）

最新推荐文章于 2024-07-16 20:32:10 发布
最新推荐文章于 2024-07-16 20:32:10 发布
阅读量293 收藏
点赞数
文章标签： spark 大数据 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52260515/article/details/134024577
版权

第一步

下载Spark。

Downloads | Apache Spark

第二步

打开Users/xxx文件夹，创建名为env的文件，并把下载好的文件解压移至其下。

第三步

打开终端，输入：

sudo vi ~/.bash_profile  # bash_profile是当前用户的环境变量文件

我这里报错了，具体如下图所示。

解决方式是，按'q'退出后，输入：

rm -f ~/.bash_profile.swp

再输入一次：

 sudo vi ~/.bash_profile  # bash_profile是当前用户的环境变量文件

之后会显示这个界面：

最低0.47元/天 解锁文章
想吃十斤奶酪饼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
mac下搭建pyspark环境
Im ok的博客哦
08-18 2334
在mac下搭建pyspark需要安装的有： 1.JAVA JDK 2.Scala 3.apache-spark 4.Hadoop(可选) 5.pyspark 安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式。 如果你的电脑上没有安装brew的话，可以参考下面这篇文章进行安装brew，还是比较方便的。 https://www.jianshu.com/p/7ef9e0e4d3c2 只需要简单的使用 brew install scala bre
Windows上python的spark环境搭建
weixin_43915303的博客
06-30 490
1.安装好JDK 下载并安装好jdk-12.0.1_windows-x64_bin.exe，配置环境变量： 新建系统变量JAVA_HOME，值为Java安装路径 新建系统变量CLASSPATH，值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;（注意最前面的圆点） 配置系统变量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin 在CMD中输入：java或者java -version，不显示不是内部命令等，说明安装成功。
【大数据】Mac下安装hadoop-scala-spark，2024年最新走进大数据开发架构
2401_84166965的博客
04-13 498
vip204888 （备注大数据获取）**[外链图片转存中…(img-P5wq1vW4-1712999308386)]
Spark+AI深度学习动手实践
07-08
《Spark大数据商业实战三部曲》第二版在人工智能领域的应用内容，包括深度学习动手实践：人工智能下的深度学习、深度学习数据预处理、单节点深度学习训练、分布式深度学习训练；Spark+PyTorch案例实战：PyTorch在Spark上的安装、使用PyTorch实战图像识别、PyTorch性能调优最佳实践；Spark+TensorFlow实战：TensorFlow在Spark上的安装、TensorBoard解密、SparkTensorFlow的数据转换；Spark上的深度学习内核解密：使用TensorFlow进行图片的分布式处理、数据模型源码剖析、逻辑节点源码剖析、构建索引源码剖析、深度学习下Spark作业源码剖析、性能调优最佳实践。 
How to Install PySpark on Mac(Mac上安装PySpark)
u011868279的博客
05-09 1300
How to Install PySpark on Mac(Mac上安装PySpark)
Spark的安装（基于Mac）
热门推荐
AcceptedLin的博客
08-25 2万+
Spark的安装（基于Mac） 一、简介 1.1内容 在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。 1.2 知识点 jdk的安装 spark和pyspark的安装 虚拟环境的内核 1.3 环境 本文所有的环境变量是在.bash_prof...
mac系统下安装hadoop+hbase+spark单机版+IDEA和scala编写使用spark来计算的helloworld程序
sxj的专栏
01-13 4609
一、启动ssh服务 1、首先找到系统偏好设置，如下图所示： 2、然后选择共享，如下图所示： 3、然后将远程登录选上，并选择所有用户，如下图所示： 4、此时即可通过ssh登录了。 二、建立ssh无密码登录本机 1、ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式，首先主机上创建ssh-key，这里我们采用rsa方式。使用如下命令(P是要大写的，后面跟""，...
Mac搭建Python环境
Gybj1的博客
07-21 380
前言 mac系统其实自带了一个python的执行环境，但是系统自带的python版本比较旧，python开 发社区已经不提供支持，平时运行环境还可以，但是用到开发中可能会显得力所不及，如果开发只需要python2.7的，就不需要继续下面的操作了，旧版python系统版本无法及时更新,使用系统自带python的pip安装的包可能会在升级mac os系统的时候消失，需要重装，包升级时也可能遭遇各种问题...
如何搭建Spark环境
06-01
搭建Spark环境是大数据处理领域的一项基础任务，Spark作为一个快速、通用且可扩展的数据处理引擎，广泛应用于数据分析、机器学习和实时流处理等场景。本文将详细介绍如何从零开始搭建Spark环境，包括安装JDK、配置...
搭建Spark+MongoDB的运行环境的操作手册.docx
11-13
本操作手册主要指导用户在Mac环境下搭建Spark+MongoDB的运行环境，涉及的主要知识点包括Java、Spark、Hadoop、PySpark和MongoDB的安装与配置，以及如何运行基于Spark+MongoDB的大数据分析代码。 1. **Java安装与...
SecureCRT远程连接工具安装包
03-02
3. **大数据集群搭建**：在大数据环境中，SecureCRT可以协助管理员远程管理和监控Hadoop、Spark等大数据组件，如配置HDFS、YARN、HBase等服务，执行MapReduce任务，或者通过SSH隧道访问内部网络资源。 4. **文件...
大数据处理与分析整本书课件完整版电子教案全套课件最全教学教程ppt.pptx
03-24
课程首先从开发环境的搭建开始，包括Python解释器的安装、Anaconda的配置、Jupyter Notebook与PyCharm的使用。 1. Python解释器安装是学习Python的第一步。Python解释器是执行Python代码的必要组件。在MAC OS系统下...
Pyspark 读 DataFrame 的使用与基本操作
weixin_41888257的博客
12-20 1万+
一、安装 基于 mac 操作系统 安装 jdk jdk 下载地址 安装 pyspark pip install pyspark 二、基本操作 2.1 建立SparkSession对象 一切操作之前需要先建立一个SparkSession对象(运行Spark code的Entrance point,可以理解为交互部件)： 详见： pyspark.sql module from pyspark.sql import SparkSession spark = SparkSession.builder.ma
Pyspark 安装(Mac M2版)
Lian_Ge_Blog的博客
01-18 1091
本文主要介绍Macos 系统如何本地安装 pyspark 以及安装过程中遇到的问题和解决方法，仅供参考
Mac 配置Hadoop、spark、Scala、jdk
hjjhjji的博客
03-17 1774
注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)
mac环境下安装spark-2.3.2
superY_26的博客
01-09 3075
本文仅记录在MacBook Pro M1型号上安装 JDK8、Hadoop-2.6.5、spark-2.3.2
Spark学习之SparkSQL
最新发布
m0_58050808的博客
07-16 570
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
实验01：搭建Python网络爬虫开发环境
"该实验是关于搭建Python网络爬虫开发环境的教程，涵盖了Python网络爬虫所需的代码编辑器PyCharm的配置，Python环境的搭建，以及如何利用Anaconda管理和安装必要的框架组件。同时，实验也涉及到了HTTP抓包工具...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值