Spark环境搭建

Windows下测试环境搭建

1、安装JDK(具体方法自行百度)

JDK下载地址

2、安装Scala(具体方法自行百度)

Scala下载地址

3、安装Spark

Spark下载地址
配置环境变量:


进入spark-1.6.0-bin-hadoop2.6\bin目录下,双击spark-shell.cmd,出现如下界面表示安装成功

注意版本兼容问题,我用的版本是:jdk1.8.0_101+scala-2.10.6+spark-1.6.0-bin-hadoop2.6



LINUX下环境搭建

LINUX下JDK、SCALA、SPARK安装请自行百度。

进入spark-1.6.0-bin-hadoop2.6/conf目录下,修改spark-env.sh.template文件。
添加:

export SPARK_MASTER_IP=192.168.59.130
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_MEMORY=2g


启动
sh spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
停止
sh spark-1.6.0-bin-hadoop2.6/sbin/stop-all.sh

提交任务
sh spark-1.6.0-bin-hadoop2.6/bin/spark-submit –class scala.Test /path/jar/spark.test.jar

Spark环境搭建与使用 Apache Spark是一个开源的大数据处理框架,可以快速、高效地处理大规模的数据集。它支持多种数据处理方式,包括批处理、流处理和机器学习等。 Spark可以在本地模式下运行,也可以在分布式模式下运行。在分布式模式下,Spark可以利用多台服务器的计算资源,进行大规模的数据处理。 本文将介绍如何在本地环境中搭建Spark,并通过一个简单的例子来演示Spark的使用。 Spark环境搭建 在开始之前,需要确认已经安装了Java环境。可以通过以下命令检查Java环境是否已经安装: ``` java -version ``` 如果Java环境没有安装,可以去官网下载并安装Java。 接下来,需要下载Spark。可以从官网下载最新版本的Spark。下载完成后,解压缩到指定目录。 打开终端,进入Spark的bin目录,执行以下命令启动Spark: ``` ./spark-shell ``` 这个命令将启动Spark的交互式Shell。在Shell中,可以输入Spark的API命令进行数据处理。 Spark使用示例 下面,通过一个简单的例子来演示Spark的使用。该例子将统计一组数字中的奇数个数。 首先,在Spark的Shell中,创建一个RDD: ``` val nums = sc.parallelize(1 to 10) ``` 这个命令将创建一个包含1到10的数字的RDD。接下来,通过filter()方法,筛选出奇数: ``` val odds = nums.filter(_ % 2 != 0) ``` 这个命令将创建一个包含奇数的RDD。最后,通过count()方法,计算奇数的个数: ``` val count = odds.count() ``` 这个命令将返回奇数的个数。可以通过以下命令输出结果: ``` println(count) ``` 这个例子演示了Spark的基本用法。通过Spark的API,可以快速、高效地处理大规模的数据集。 总结 本文介绍了如何在本地环境中搭建Spark,并通过一个简单的例子来演示Spark的使用。Spark是一个强大的大数据处理框架,可以帮助我们快速、高效地处理大规模的数据集。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值