![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 50
阿武z
这个作者很懒,什么都没留下…
展开
-
Hive Sql 迁移到 Spark Sql 问题集合
问题集合1、ES外部表格式不同hivespark sql2、元数据更新 refreshtableREFRESH TABLE table_name3、Caused by: java.lang.NoClassDefFoundError: jodd/datetime/JDateTime4、Error in query: nondeterministic expressions are o...原创 2019-12-16 23:52:00 · 2036 阅读 · 0 评论 -
Dr Elephant(HIVE JOB监控调优)安装使用
一、简单介绍Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具官方介绍:https://github.com/linkedin/dr-elephant/wikigithub地址:https://github.com/linkedin/dr-elephant安装文档:https://github.com/linkedin/dr-elephant/wiki/Q...原创 2019-10-24 21:07:51 · 673 阅读 · 1 评论 -
DAGScheduler之Job的提交划分Stage
整体流程图源码分析 spark 2.3getOrCreateParentStages 创建所有祖先Stage/** * Get or create the list of parent stages for a given RDD. The new Stages will be created with * the provided firstJobId....原创 2018-08-04 14:16:23 · 783 阅读 · 0 评论