搭建Spark的伪分布模式环境
1、解压:tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C ~/training/
2、配置参数文件: conf/spark-env.sh
export JAVA_HOME=/root/training/jdk1.7.0_75
export SPARK_MASTER_HOST=bigdata11
export SPARK_MASTER_PORT=7077
conf/slaves ----> 从节点的主机信息
bigdata11
3、启动Spark伪分布环境
sbin/start-all.sh
Spark Web Console: http://192.168.88.11:8080
搭建Spark的伪分布模式环境
最新推荐文章于 2023-03-15 16:47:47 发布
本文详细介绍了如何搭建Spark的伪分布模式环境,包括解压Spark安装包、配置环境变量、设置slaves文件以及启动所有服务。通过执行sbin/start-all.sh启动后,可以在http://192.168.88.11:8080上访问Spark Web Console进行监控。
摘要由CSDN通过智能技术生成