Spark----Local模式的安装配置

本文介绍了如何在本地模式下安装配置Spark 2.1.2,包括版本选型、下载解压、环境变量配置,并提供了测试步骤,如通过spark-shell进行Scala操作和访问WebUI。
摘要由CSDN通过智能技术生成

版本选型

spark2.1.2 , 依赖scala2.11.8

安装部署

  1. 下载spark-2.1.2-bin-hadoop2.7.tgz
  2. 解压安装:
进入需要安装的目录
		cd /home/wyc/apps    
通过共享文件夹,将安装包拷贝进入虚拟机
		cp /mnt/hgfs/sharefile/apache-spark/spark-2.1.2-bin-hadoop2.7.tgz .
解压安装包
		tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz 
创建软链接
		ln -s spark-2.1.2-bin-hadoop2.7 spark
  1. 配置环境变量
    修改【~/.bash_profile】,在文件尾部追加以下内容:
   #spark install
	export SPARK_HOME=/home/wyc/apps/spark
	export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

若不重启主机,运行以下命令,使环境配置生效

source ~/.bash_profile
  1. 至此,单机版搭建完成!
    使用命令
 spark-shell

在这里插入图片描述

浏览器访问WebUI:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值