![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 92
马各马它
这个作者很懒,什么都没留下…
展开
-
spark系列-应用篇之通过yarn api提交Spark任务
前言在工作中,大部使用的都是hadoop和spark的shell命令,或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务,感觉yarn的api还是挺全面的,但是调用时需要传入很多参数,而且会出现一些诡异的问题。虽然最终使用livy来提交任务,但是通过yarn api提交任务可以帮助使用者更好的理解yarn,而且使用yarn查询任务还是不错的。至于liv...原创 2018-08-23 13:46:33 · 9316 阅读 · 19 评论 -
spark系列-应用篇之通过livy提交Spark任务
前言上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务。livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,session共享安装下载livy0.5.0,下载完成后进行解压。配置conf/livy.conf文件,设置livy.spark.master = yarn。其他的配置项目,可以根据你的需要来配...原创 2018-08-24 00:43:39 · 17992 阅读 · 12 评论