spark
呆痞ys
恰同学少年,风华正茂,挥斥方遒
展开
-
Spark-Shell交互式客户端
启动spark集群 [root@hdp-104 sbin]# ./start-all.sh 启动交互shell [root@hdp-104 bin]# ./spark-shell --master spark://hdp-104:7077 --executor-memory 500m --total-executor-cores 1 运行wordcount程序 sc.textFile("/s...原创 2020-03-16 12:53:52 · 212 阅读 · 0 评论 -
spark集群配置
集群修改 1.修改spark的配置文件conf/spark-env.sh 注:修改相应的配置路径 export JAVA_HOME=/root/apps/jdk1.8.0_201 #export SPARK_MASTER_HOST=hdp-101 #export SPARK_MASTER_PORT=7077 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy...原创 2020-03-16 12:42:48 · 151 阅读 · 0 评论