Spark环境搭建

最新推荐文章于 2024-05-29 12:59:38 发布

松鸟

最新推荐文章于 2024-05-29 12:59:38 发布

阅读量963

点赞数 1

分类专栏：编程语言文章标签： spark windows linux

本文链接：https://blog.csdn.net/sx5273/article/details/79296255

版权

编程语言专栏收录该内容

16 篇文章 0 订阅

订阅专栏

Windows下测试环境搭建

1、安装JDK（具体方法自行百度）

JDK下载地址

2、安装Scala（具体方法自行百度）

Scala下载地址

3、安装Spark

Spark下载地址
配置环境变量：

进入spark-1.6.0-bin-hadoop2.6\bin目录下，双击spark-shell.cmd，出现如下界面表示安装成功

注意版本兼容问题，我用的版本是：jdk1.8.0_101+scala-2.10.6+spark-1.6.0-bin-hadoop2.6

LINUX下环境搭建

LINUX下JDK、SCALA、SPARK安装请自行百度。

进入spark-1.6.0-bin-hadoop2.6/conf目录下，修改spark-env.sh.template文件。
添加：

export SPARK_MASTER_IP=192.168.59.130
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_MEMORY=2g

启动
sh spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
停止
sh spark-1.6.0-bin-hadoop2.6/sbin/stop-all.sh

提交任务
sh spark-1.6.0-bin-hadoop2.6/bin/spark-submit –class scala.Test /path/jar/spark.test.jar

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

松鸟

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark环境搭建

二进制

11-19

874

1.环境配置配置集群上每台机器的hostvi /etc/hosts 加上10.0.0.16 master 10.0.0.198 slave01在集群中所有机器上创建spark账户sudo useradd -m spark -s /bin/bash 设置密码（为了好记，密码也设置为spark）sudo passwd spark 设置root权限sudo adduser s

大数据应用之Spark环境安装与配置完全解析

最新发布

sinat_30844883的博客

07-21

1019

Spark由Apache公司开源，与Hadoop配合使用获得更高性能与易用性，是专为大规模数据处理而设计的快速通用的计算引擎，现在形成一个高速发展的广泛生态系统。 Spark具有速度快、易用性、通用性及生态丰富的特点，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

参与评论您还未登录，请先登录后发表或查看评论

Apache Spark1.1.0部署与开发环境搭建

春宇大数据专栏

02-22

676

Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地重复查询，非常适合用于实现机器学习算法。本文将

Spark 运行环境

qq_50231389的博客

11-20

1909

Spark 运行环境1.Local模式1.1解压缩文件1.2启动Local环境1.3命令行工具1.4退出本地模式1.5提交应用2.Standalone模式2.1修改配置文件2.2启动集群2.3提交应用2.4提交参数说明2.5配置历史服务2.6 K8S & Mesos 模式2.7 Windows 模式2.8 部署模式对比2.9 端口号 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分

Spark环境搭建和使用方法

07-11

### Spark环境搭建与使用方法详解 #### 一、引言 Apache Spark作为一款高性能的数据处理框架，被广泛应用于大规模数据处理场景中。本文将详细介绍如何搭建Spark环境，并介绍其基本使用方法。通过以下步骤，您将...

Spark环境搭建-Linux.pptx

03-27

Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始，到安装 JDK、Scala 和 Spark，最后设置 SSH 免密码登录，旨在帮助用户快速搭建 Spark 环境。一、环境...

Spark环境搭建（保姆级教程）

热门推荐

tangyi2008的专栏

02-24

5万+

Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。

搭建Spark开发环境

weixin_64272885的博客

05-18

1509

由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境。

Spark 环境搭建

向阳争渡

03-22

331

搭建环境：Ubuntu16.04(虚拟机) 分布式集群： 192.168.159.128 vm01 192.168.159.129 vm02 192.168.159.130 vm03 若是单节点(伪分布式)，则在Hadoop的配置过程中，将其他节点的主机名替换成单节点的主机名即可。镜像源：阿里源新建虚拟机后最好更换镜像源，下载...

详解 Spark 各种运行环境的搭建

weixin_44480009的博客

05-29

1438

Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。

spark平台搭建

s37

12-20

503

Spark是用Scala程序设计语言编写而成，运行于Java虚拟机（JVM）环境之上。目前支持如下程序设计语言编写Spark应用： Scala Java Python Clojure R前提条件：为了让Spark能够在本机正常工作，你需要安装Java开发工具包（JDK）。windows与ubuntu自行下载对应的安装包安装，安装目录不要带空格。同样还需要在电脑上安装Spark软件. 在Spar

spark--环境配置

xiangminghan的博客

07-12

306

下载网址 https://archive.apache.org/dist/spark/spark-2.4.4/ 链接：https://pan.baidu.com/s/1BC8HRX5i-4smWKKhEj0W4g 提取码：ap5h 1.解压安装包 [root@bigdata101 software]# tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/ 2.进入spark的conf里面重命名：spark文件名 [root@bigdata101 m

spark安装及环境搭建

yunini2的博客

02-17

1162

安装版本配套 Spark: 1.6.2 Scala: 2.12.1 软件安装 1、安装JDK 手工配置JAVA_HOME环境变量，并将JDK的bin目录加入Path环境变量中。 2、安装Scala Windows版通过.msi软件包安装。安装完成后自动配置环境变量SCALA_HOME，并将scala下的bin目录加入Path环境变量中。下载地址：htpp://w

Spark环境搭建与使用

04-05

Spark环境搭建与使用 Apache Spark是一个开源的大数据处理框架，可以快速、高效地处理大规模的数据集。它支持多种数据处理方式，包括批处理、流处理和机器学习等。 Spark可以在本地模式下运行，也可以在分布式模式下运行。在分布式模式下，Spark可以利用多台服务器的计算资源，进行大规模的数据处理。本文将介绍如何在本地环境中搭建Spark，并通过一个简单的例子来演示Spark的使用。 Spark环境搭建 在开始之前，需要确认已经安装了Java环境。可以通过以下命令检查Java环境是否已经安装： ``` java -version ``` 如果Java环境没有安装，可以去官网下载并安装Java。接下来，需要下载Spark。可以从官网下载最新版本的Spark。下载完成后，解压缩到指定目录。打开终端，进入Spark的bin目录，执行以下命令启动Spark： ``` ./spark-shell ``` 这个命令将启动Spark的交互式Shell。在Shell中，可以输入Spark的API命令进行数据处理。 Spark使用示例下面，通过一个简单的例子来演示Spark的使用。该例子将统计一组数字中的奇数个数。首先，在Spark的Shell中，创建一个RDD： ``` val nums = sc.parallelize(1 to 10) ``` 这个命令将创建一个包含1到10的数字的RDD。接下来，通过filter()方法，筛选出奇数： ``` val odds = nums.filter(_ % 2 != 0) ``` 这个命令将创建一个包含奇数的RDD。最后，通过count()方法，计算奇数的个数： ``` val count = odds.count() ``` 这个命令将返回奇数的个数。可以通过以下命令输出结果： ``` println(count) ``` 这个例子演示了Spark的基本用法。通过Spark的API，可以快速、高效地处理大规模的数据集。总结本文介绍了如何在本地环境中搭建Spark，并通过一个简单的例子来演示Spark的使用。Spark是一个强大的大数据处理框架，可以帮助我们快速、高效地处理大规模的数据集。