搭建Spark 2.2.1 基于Hadoop 2.6.5 和 Ubuntu 16.0.4 记录

原创 2018年04月16日 10:04:31

安装Scala

sudo apt-get install scala

然后终端输入scala -version验证scala版本即可.

如果没有任何提示,可以把scala的路径配置到环境变量中去,默认安装在/usr/share/scala-2.11

打开配置文件~/.bashrc, 新加入以下配置路径

export SCALA_HOME=/usr/share/scala-2.11
export PATH=$PATH:$SCALA_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

下载Spark

在Spark下载页面选择已经配置好的Hadoop版本, 然后下载Spark,只有解压到/usr/local目录下即可

sudo tar -xzvf /home/mutex/Downloads/spark-2.2.1-bin-hadoop2.6.tgz -C /usr/local/

配置Spark

打开配置文件~/.bashrc, 新加入以下配置路径

export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

进入到conf目录,生成并配置spark-env.sh文件

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
sudo vim spark-env.sh

新增以下配置路径

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=4G

启动Spark

$SPARK_HOME/sbin/start-all.sh
jps

此处输入图片的描述

在浏览器中输入http://localhost:8080/如图看到有worker表示搭建完成.

此处输入图片的描述

简单例子

hadoop@mutex-dl:/usr/local/spark-2.2.1-bin-hadoop2.6/conf$ run-example SparkPi

直接给出结果:

Pi is roughly 3.135395676978385
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Linux1s1s/article/details/79956891

大数据基础(五)从零开始安装配置Hadoop 2.7.2+Spark 2.0.0到Ubuntu 16.04

从零开始安装配置Hadoop 2.7.2+Spark 1.6.2 0 install ubuntu 14.04.01 desktop x64 1 system基础配置 《以下都是root模式》 ...
  • dst1213
  • dst1213
  • 2016-07-25 21:43:56
  • 5452

Spark分布式搭建(4)——ubuntu下Hadoop分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。 Spark伪分布式搭建(1)——ubuntu14.04 设置root自动登入 http://blog.cs...
  • xummgg
  • xummgg
  • 2016-02-06 23:20:23
  • 1338

Hadoop2.6.5/Spark1.6.3 HA集群构建

1 规划部署 一共9台机器,HA架构:2台Master,6台Worker,1台Client 1.1 网络规划: 主机名: sparker001 IP: 192.168.1...
  • yizheyouye
  • yizheyouye
  • 2017-08-02 21:55:20
  • 890

Ubuntu搭建Hadoop2.6.5(伪分布式)

1.安装jdk 此步略过,可参考我发布的另一篇文章 2.下载hadoop2.6 hadoop2.6下载地址 3.配置环境变量    输入 vim /etc/profile 命令可打开profile文...
  • chenruicsdn
  • chenruicsdn
  • 2016-12-12 23:18:03
  • 2088

Spark+Hadoop环境搭建

一、工具下载: 1、spark下载 目前最新的是2.1.1,spark 2.0开始api和之前的还是有比较多的变化,因此如果选择2.0以上版本,最好看一下api变化,下载地址:http://spark...
  • u012292247
  • u012292247
  • 2017-06-17 11:51:22
  • 2068

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6,并安装python开发工具Jupyter notebook,通过pyspark测试一个实例,調通整个Spark+hadoop伪分布式开发...
  • dream_an
  • dream_an
  • 2016-07-19 13:27:49
  • 12966

单机搭建基于Hadoop的Spark环境

Spark是运行在yarn(也就是hadoop,一般特指资源管理器)上的应用,前面的一篇文章中已经搭好了yarn+hdfs,接下来的配置就很简单了。...
  • duh2so4
  • duh2so4
  • 2015-12-12 17:15:14
  • 861

hadoop2.7.4 spark2.2.1 最新版本环境搭建

  • 2017年12月17日 10:59
  • 1.95MB
  • 下载

hadoop 生态圈集群搭建

  • 2018年01月22日 14:20
  • 346KB
  • 下载

hadoop2.9.0-spark2.11.分布式架构搭建教程

一、修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 na...
  • yitian881112
  • yitian881112
  • 2018-01-27 09:11:42
  • 128
收藏助手
不良信息举报
您举报文章:搭建Spark 2.2.1 基于Hadoop 2.6.5 和 Ubuntu 16.0.4 记录
举报原因:
原因补充:

(最多只允许输入30个字)