Spark安装部署

Spark安装:

 

1、下载安装Scala    http://www.scala-lang.org/download/2.11.8.html页面下载scala-2.11.8.tgz

       下载安装Spark   http://spark.apache.org/downloads.html页面下载spark-2.0.0-bin-hadoop2.7.tgz

2、安装Scala

       解压

# tar -zxvf scala-2.11.8.tgz/home/netlab

   配置环境变量

 [netlab@master ~]$ vi .bash_profile

 export SCALA_HOME=/home/netlab/scala-2.11.4

 export PATH=$PATH:$SCALA_HOME/bin

[netlab@master ~]$ source .bash_profile     

    测试是否安装成功:输入scala,出现以下则成功:

3、安装Spark

      解压tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz/usr/local/wl/spark

      配置环境变量 

      [netlab@master ~]$ vi .bash_profile

export SPARK_HOME=/usr/local/wl/spark/spark-2.0.0-bin-hadoop2.7
      export PATH=$PATH:$SPARK_HOME/bin

[netlab@master ~]$ source  .bash_profile

[netlab@master ~]$ cd spark-2.0.0-bin-hadoop2.7

[netlab@master spark-2.0.0-bin-hadoop2.7]$ cd conf

[netlab@master conf]$ ls

[netlab@master conf]$cp spark-env.sh.template spark-env.sh

[netlab@master conf]$vi spark-env.sh

添加java/scala/spark路径

[netlab@master conf]$ source  spark-env.sh

[netlab@master conf]$ cp   slaves.template  slaves

[netlab@master conf]$vi slaves

修改主机名为从节点名称

4、将主节点关于spark配置复制到从节点

[netlab@master ~]$scp -r ~/spark-2.0.0-binhadoop2.7 slave:~/

[netlab@master ~]$ cd spark-2.0.0-bin-hadoop2.7

[netlab@master spark-2.0.0-bin-hadoop2.7]$ cd sbin/

[netlab@master sbin]$ ls

[netlab@master sbin]$ start-all.sh

[netlab@master sbin]$ jps检查节点启动情况


访问浏览器master:8080


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
项目:使用AngularJs编写的简单 益智游戏(附源代码)  这是一个简单的 javascript 项目。这是一个拼图游戏,也包含一个填字游戏。这个游戏玩起来很棒。有两个不同的版本可以玩这个游戏。你也可以玩填字游戏。 关于游戏 这款游戏的玩法很简单。如上所述,它包含拼图和填字游戏。您可以通过移动图像来玩滑动拼图。您还可以选择要在滑动面板中拥有的列数和网格数。 另一个是填字游戏。在这里你只需要找到浏览器左侧提到的那些单词。 要运行此游戏,您需要在系统上安装浏览器。下载并在代码编辑器中打开此项目。然后有一个 index.html 文件可供您修改。在命令提示符中运行该文件,或者您可以直接运行索引文件。使用 Google Chrome 或 FireFox 可获得更好的用户体验。此外,这是一款多人游戏,双方玩家都是人类。 这个游戏包含很多 JavaScript 验证。这个游戏很有趣,如果你能用一点 CSS 修改它,那就更好了。 总的来说,这个项目使用了很多 javascript 和 javascript 库。如果你可以添加一些具有不同颜色选项的级别,那么你一定可以利用其库来提高你的 javascript 技能。 演示: 该项目为国外大神项目,可以作为毕业设计的项目,也可以作为大作业项目,不用担心代码重复,设计重复等,如果需要对项目进行修改,需要具备一定基础知识。 注意:如果装有360等杀毒软件,可能会出现误报的情况,源码本身并无病毒,使用源码时可以关闭360,或者添加信任。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值