Spark集群搭建及测试中的问题

hadoop成功搭建成功了,在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0,Hadoop是1.2.1,spark是1.3.0,scala是2.10.4。
将scala,spark等环境都写入了~/.bashrc中去。
在安装配置Spark应注意以下:
1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP都是master的 IP。这点切记。
2、需要在各主机上配置spark的conf下的slaves文件,需要把worker节点添加进去。(如果没有slaves文件,则创建slaves)将localhost改为Master,Slave1,Slave2。
3、启动spark集群。先启动Hadoop集群,再spark的sbin目录下启动Spark集群。
4、使用spark-shell控制台。在spark下的bin输入./spark-shell。
通过spark的shell测试spark的工作:
这里是需要将spark安装目录“README.md”复制到HDFS系统上
我这里用的命令是:
Hadoop fs -rmr README.md 删除README.md
hadoop fs -put /usr/local/spark/README.md README.md (spark安装目录“README.md”复制到HDFS系统上[路径为:hdfs://Master:9000/user/root/README.md])
Hadoop中的一些命令:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
最后spark完成了测试统计README.md里需要统计的词!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值