下载Spark并在单机模式下运行它

最新推荐文章于 2024-04-15 16:51:20 发布
VIP文章 最新推荐文章于 2024-04-15 16:51:20 发布
阅读量2.9k 收藏 3
点赞数 1
文章标签： spark python hadoop RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjq_1314520/article/details/63253423
版权

声明：
以下是在Windows 10 64位系统下面进行的操作。
使用的语言以及版本是Python 2.7。
JDK版本是 JDK1.8。

下载Spark

Spark的下载地址为：https://archive.apache.org/dist/spark/
在这个里面可以选择你自己想要的版本。
我下载的是spark-1.6.0-bin-hadoop2.6.tgz
注：在Spark1.4起增加了对R语言和Python3的支持！

解压Saprk

将压缩包解压，我解压的路径是F:\spark。
注意：路径中不能含有空格

环境变量配置

新建 SPARK_HOME，设置值为解压目录，如：F:\spark\spark-1.6.0-bin-hadoop2.6
添加PATH：%SPARK_HOME%\bin

下载Hadoop

Hadoop下载地址为：http://mirror.bit.edu.cn/apache/hadoop/common/
我这里下载的是hadoop 2.6的。

Hadoop环境变量的配置

将Hadoop解压在spark的同一路径(可

最低0.47元/天 解锁文章
十木禾
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件，完成以下设置： 1. 设置运行master进程的节点， e
Spark系列---SparkSQL(三)读取Txt文件、Json文件、Hive、Mysql数据源(Java、Scala版本)
Mr.Cao
10-31 7947
1.读取txt文件 scala版本 package com.kevin.scala.dataframe import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext /** * 读取txt文件转成DataFrame形式操作 */ object DataFrameTx...
搭建Spark单机版环境
m0_59791585的博客
06-16 2243
3
Spark(单机版)安装
CBeann的博客
07-12 580
环境 hadoop-2.7.2 https://pan.baidu.com/s/10WSRBljmM9vGhS7PHz9NSg spark-2.1.1-bin-hadoop2.7 链接：https://pan.baidu.com/s/13gHKbWYPRVoq7OjVaURPRQ 提取码：p3z3 复制这段内容后打开百度网盘手机App，操作更方便哦 hadoop安装（单机版） ht...
spark 单机模式下安装
cyh
11-01 607
解压复制到/usr/local/目录下 并改名为spark在spark/conf下 编辑 vi spark-env.sh 在第一行增加export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)这样spark就可读写hdfs数据进入spark/bin目录下 run-example SparkPi 2>&1 | grep
spark单机版以及集群版安装
qq_44840515的博客
06-29 325
spark环境搭建 单机版以及集群版 spark安装包下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz 数字对应版本。 一、spark单机版： 解压安装 tar -zvxf /opt/spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local 进去/usr/local/spark-2.4.0-bin-hadoop2.7/bin 输入./r
spark 使用python语言操作（基于pycharm的安装使用）
weixin_56572337的博客
05-17 3433
spark 使用python操作（基于pycharm的安装使用）
Spark实战(八)spark的几种启动方式
钟晚语夕的专栏
02-18 4244
spark常用的启动方式 一、Local(本地模式)    Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --master local 效果是一样的，同理spark-shell 和 spark-shell --...
Spark基础学习笔记06：搭建Spark单机版环境
qq_56244269的博客
06-07 419
执行命令：，安装vim编辑器将JDK压缩包上传到ied虚拟机目录执行命令： 执行命令： export JAVA_HOME=/usr/local/jdk1.8.0_162 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar存盘退出，执行命令：，让环境配置生效 在任意目录下都可以查看JDK版本 下载链接：百度网盘 请输入提取码 提取码：zh0x 执行命令： 执行
Spark基础学习笔记03：搭建Spark单机版环境
f54268589的博客
03-26 3528
Spark基础学习笔记03：搭建Spark单机版环境
如何使用homebrew安装python3
weixin_40184069的博客
09-22 615
如何使用homebrew安装python3 用homebrew来安装最新版本的python $ brew install python3 然后经过一段时间的等待,安装成功则会出现 ==> python@3.8 Python has been installed as 可以使用如下代码进行检验是否安装成功以及安装版本 $ python3 --version Python 3.7.3 ...
Spark独立部署模式
10-09
Spark支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用，也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于...注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
Spark开发实例（编程实践）
01-07
为简单起见，本节采用单机模式运行 Spark。 无论采用哪种模式，只要启动完成后，就初始化了一个 SparkContext 对象（SC），同时也创建了一个 SparkSQL 对象用于 SparkSQL 操作。进入 Scala 的交互界面中，就可以进行...
Linux安装Spark集群
09-14
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装，但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码，例如可以单机安装Spark，单机运行计算圆周率的Spark程序。...
Spark：性能调优实战
ALX3li的博客
04-14 503
一个Executor中同时可以执行的task数目（在Executor内存不变的情况下，executor-cores数越大，平均下来一个task可以使用的内存就越少）Executor Java进程的堆内存大小，即Executor Java进程的Xmx值Executor Java进程的off-heap内存，包括JVM overhead，sort、shuffle以及Netty的堆外内存等是否开启动态资源分配，强烈建议开启。开启动态资源分配后，同一时刻，最多可申请的executor个数。
Spark：shuffle key中包含rand问题
ALX3li的博客
04-14 214
对于需要根据rand进行shuffle来实现将数据进行随机打散的情况，可以把shuffle规则从rand改成与数据的确定列绑定，也就是deterministic_function(deterministic_col1,出现问题的原因是：作业在进行的shuffle的时候，同一行数据，shuffle的结果不是幂等的。’, coalesce(store_id, 0), ‘_’,coalesce(delv_center_id, 0)))，其中concat的字段是表的唯一粒度；1、用一个整数的id对20取模。
Spark01
最新发布
Rouer_jia的博客
04-15 67
Spark授课笔记01
Python3-Cookbook(第九章) - 元编程Part2
weixin_37901366的博客
04-14 333
@File : 09-将装饰器定义为类.py# 执行被包装的函数funcelse:# self其实就指向被包装的函数-->return self.__wrapper__(args,kwargs)# 这也是为何要实现__call__,因为能够实现profiled()这种写法-->会执行__call__方法，而__call__方法## 返回的是对fun的调用# 为实例instance绑定fun@Profiled@Profileda = add。
M1spark单机模式安装
03-27
M1spark是一种用于在单机上运行Apache Spark的模式。下面是M1spark单机模式安装的步骤： 1. 首先，确保你的机器上已经安装了Java Development Kit (JDK)。你可以通过在终端中运行`java -version`命令来检查是否已经安装了JDK。 2. 下载Spark安装包。你可以从Spark官方网站（https://spark.apache.org/downloads.html）下载最新版本的Spark。 3. 解压下载的Spark安装包。你可以使用以下命令解压： ``` tar -xvf spark-<version>.tgz ``` 4. 进入解压后的Spark目录： ``` cd spark-<version> ``` 5. 在Spark目录中，复制一份默认的配置文件模板： ``` cp conf/spark-env.sh.template conf/spark-env.sh ``` 6. 编辑`conf/spark-env.sh`文件，设置以下环境变量： ``` export SPARK_MASTER_HOST=<your_host_ip> export SPARK_MASTER_PORT=<master_port> export SPARK_LOCAL_IP=<your_local_ip> ``` 其中，`<your_host_ip>`是你的主机IP地址，`<master_port>`是Spark Master节点的端口号，`<your_local_ip>`是你的本地IP地址。 7. 启动Spark Master节点。在Spark目录中，运行以下命令： ``` ./sbin/start-master.sh ``` 8. 访问Spark Master的Web界面。在浏览器中输入`http://<your_host_ip>:8080`，你将看到Spark Master的Web界面。 9. 启动Spark Worker节点。在Spark目录中，运行以下命令： ``` ./sbin/start-worker.sh spark://<your_host_ip>:<master_port> ``` 其中，`<your_host_ip>`是你的主机IP地址，`<master_port>`是Spark Master节点的端口号。 10. 现在，你已经成功安装并启动了M1spark单机模式。你可以使用Spark提供的API和工具来进行数据处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值