- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark Job提交的整体流程源码详解
Job的提交任何一个行动算子，都会执行：runJob()val results = sc.runJob()runJob()在DAGScheduler类中1. 提交job，是一个阻塞线程 val waiter = submitJob(rdd, func, partitions, callSite, resultHandler, properties) //7422. submitJob中： val jobId = nextJobId.getAndIncrement() //生成JobId，
2020-09-20 16:33:29
241
原创 Spark Submit流程源码详解(on yarn)
Submit流程(yarn) #执行提交命令： bin/spark-submit --master yarn --deploy-mode cluster --class com.Tencent.spark.WordCount /opt/module/spark-standalone/bin/spark-1.0-SNAPSHOT.jar hdfs://hadoop:9820/input 执行脚本实际是执行： bin/spark-class org.apache.spark.dep
2020-09-20 16:30:56
397
原创 Hive中 Order by，Sort by, Distribute by, Cluster by详解
Hive中 Order by，Sort by, Distribute by, Cluster by详解本文的数据基础：empnoenamejobmgrhiredatesalcommdeptno工号姓名职位老板工号雇佣日期工资不重要部门编号初始计算引擎为tez，而不是默认的MR。1.Order byorder by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。2.Sort byHive基于Hadoop集群，Sort by为每
2020-07-30 23:19:35
1110
原创 Hadoop中MapReduce整体源码解析
MapReduce整体源码解析：前言：本文章分析的源码基于Hadoop 3.1.3，主要是针对MR流程过一遍源码，源码的详细解释只涉及一些重要部分，鉴于水平有限，免不了有些说明不够正确，欢迎各位大佬指正。废话不多说，开搞！job提交流程：1. waitForCompletion()提交，进入submit方法，通过connnet方法获取当前job需要执行到本地还是Yarn//1.waitForCompletion后，进入到job.java中，源码1587行if (state == JobState
2020-07-27 00:17:27
618
原创 Airbnb(爱彼迎）产品分析报告
Airbnb(爱彼迎）产品分析报告一、Airbnb背景Airbnb成立于2008年，一家联系旅游人士和家有空房出租的房主的服务型网站，它可以为用户提供多样的住宿信息。用户可通过网络或手机应用程序发布、搜索度假房屋租赁信息并完成在线预定程序。二、分析问题Airbnb能发展得如此迅速，在业务运营方面必然有闪亮的地方，故分析目标：分析业务闪亮点，以及业务中还存在哪些不足。在AARRRR模型中...
2019-09-17 23:44:43
16931
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人