Spark
文章平均质量分 89
Spark
刘大猫.
如果有天突然发现路的尽头还是路的话,希望你还没错过太多沿路的风景和眼前珍惜的人。
展开
-
SparkSubmit提交任务到yarn及报错解决方案
一、提交任务代码@Override public Response submitApplication(String[] args) throws IOException, InterruptedException { log.info("spark任务传入参数args:{}", args); args[0] = args[0].replace("}}", "} }").replace("{{", "{ {"); SparkLauncher ha.原创 2021-01-12 17:02:03 · 2879 阅读 · 6 评论 -
Spark学习知识点总结
一、基础知识:1、yarn:资源调度框架2、hdfs(Hadoop Distribute File System),基于“磁盘”的3、Hadoop MR:map ->shuffle -> reducer注意:有shuffle就会有磁盘IO,就会有不同节点传输4、Hive:是一个数据仓库5、spark与MR区别?1)MR基于磁盘,spark基于内存(指某些步骤基于内存,而不是全部基于内存)2)spark有DAG(有向无环图),eg:一个蛋糕分10块,用10人去吃,或者1个job划分原创 2021-01-14 16:11:57 · 919 阅读 · 0 评论