spark 运行模式的简单总结

最新推荐文章于 2024-06-20 10:23:10 发布

haozhugogo

最新推荐文章于 2024-06-20 10:23:10 发布

阅读量362

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/haozhugogo/article/details/78843409

版权

大数据专栏收录该内容

25 篇文章 0 订阅

订阅专栏

 
 spark-submit --master spark:// 
 192.168.8.19 
 :7077 --deploy-mode client  
 /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt  
 //spark自带集群跑 本机是driver，可以看到日志 

 
 spark-submit --master spark:// 
 192.168.8.19 
 :7077 --deploy-mode cluster  
 /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt  
 //spark自带集群跑 其他机器是driver，本机看不到具体日志了 

 
 spark-submit --master yarn --deploy-mode client  
 /Users/haozhugogo/Downloads/hdfs_wordcount.py /Users/haozhugogo/Downloads/sparktest.txt 
  //利用yarn集群来跑 本机是driver，可以看到日志 

 
 spark-submit --class  
 ScalaTest 
  --master yarn --deploy-mode cluster  
 /Users/haozhugogo/Downloads/sparkStreamingTest.jar /Users/haozhugogo/Downloads/sparktest.txt 
  //利用yarn集群来跑 其他机器是driver，本机看不到具体日志了 