Spark集群提交方式及zeppelin环境配置

最新推荐文章于 2022-11-10 21:12:40 发布

票7毒9守3验11

最新推荐文章于 2022-11-10 21:12:40 发布

阅读量426

点赞数

分类专栏：大数据文章标签： spark 大数据

本文链接：https://blog.csdn.net/m0_51008912/article/details/112908229

版权

本文介绍了如何配置Spark Zeppelin环境，包括设置JAVA_HOME, SPARK_HOME和HADOOP_CONF_DIR。同时，详细讲解了不同提交方式，如在Spark集群中以cluster模式提交和使用YARN的client及集群模式。还展示了使用Scala创建WordCount应用程序并提交到YARN集群的示例。" 99303464,8745157,Go-Spring：Go 语言中的 Spring 风格框架,"['后端开发', 'Go', 'Spring', '框架', '依赖管理']

摘要由CSDN通过智能技术生成

Spark zeppelin环境配置：
export JAVA_HOME=/opt/install/jdk
export SPARK_HOME=/opt/install/spark
export HADOOP_CONF_DIR=/opt/install/hadoop/etc/hodoop
zeppelin:
val users=spark.read.options(Map(“inferSchema”->“true”,“delimiter”->",",“header”->“true”)).csv("/events/users/users.csv")
集群提交：
#在spark的home下提交：Driver在集群中的某个worker上启动，启动application

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://nodetwo:7077 --deploy-mode cluster ./examples/jars/spark-examples_2.11-2.2.0.jar 1000

##在spark的home下运行：
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://nodetwo:7077 ./examples/jars/spark-examples_2.11-2.2.0.jar 100

#yarn的clent默认
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn ./examples/jars/spark-examples_2.11-2.2.0.jar 1000

#yarn的集群模式
bin/spark-submit --class