![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 62
Fei-joe
这个作者很懒,什么都没留下…
展开
-
解决为什么提交spark job 在web上没有进度
在提交jar包上 执行spark-submit 后 在本地执行成功 但是在8088页面上无记录解决办法:在程序上去掉程序中的setMaster("local")这条语句并不是在集群中提交jobFei joe点击打开链接val conf = new SparkConf().setAppName("Map").setMaster("local")原创 2017-06-14 11:00:39 · 1834 阅读 · 0 评论 -
spark on hive
本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计...原创 2018-10-30 12:07:49 · 1078 阅读 · 0 评论