Spark开始 ———环境搭建

Standalone模式

准备好两台以上的Linux机器,安装好JDK1.7+

1.下载并上传Spark安装包

注意与hadoop对应得版本号

下载链接:https://archive.apache.org/dist/spark/

解压命令:tar -xf spark-2.1.1-bin-hadoop2.6.tgz -C ..........

 

2.配置Spark

配置位于conf文件夹中

1.将slaves.template复制为slaves

 在slaves中加入从节点(worker)的IP

2.将spark-env.sh.template复制为spark-env.sh

在spark-env.sh中加入Master信息

红色为必选

 

3.启动/停止Spark

启动/停止命令位于sbin文件中

启动:./start-all.sh

停止:./stop-all.sh

 

4.验证启动

 1.jps查看进程

 2.浏览端查看

  地址:mini1:8080

 

5.可能遇到的问题

 1.“JAVA_HOME not set” 异常

解决方案:在sbin目录下的spark-config.sh 文件中加入如下配置:

export JAVA_HOME=XXXX

 2.Hadoop HDFS的写入权限问题:

org.apache.hadoop.security.AccessControlException

解决方案: 在hdfs-site.xml中添加如下配置,关闭权限验证

 

 <property>
        <name>dfs.permissions</name>
        <value>false</value>
  </property>  

 

      

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值