- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HiveServer2 架构源码详解
文章目录一、HiveServer2的启动二、HiveServer2的各个服务组件1、ThriftCLIService2、CLIService3、SessionManager4、OperationManager三、一个命令的具体处理过程1、一个命令的处理流程2、关于SessionHandle和OperationHandlebeeline客户端是如何获取日志输出的四、HiveServer2中的那些重要...
2019-06-29 17:46:29
8143
5
原创 【linux命令学习】— cut 和 tr 命令学习
文章目录一、cut命令学习按字节进行切割按字符进行切割按指定字符进行切割二、tr 命令学习替换字符使用demo-c，-d 参数使用demo-s 参数使用demo-t 参数使用demotr中的一些转义符三、总结一、cut命令学习cut命令主要用来切割字符串，可以对输入的数据进行切割然后输出，它可以支持三种形势的切割：按字节（bytes）进行切割按字符进行切割按指定的分割符进行切割在l...
2019-06-25 20:42:48
3094
2
原创 Spark MetadataFetchFailedException 问题排查
文章目录一、问题描述二、问题定位Executor异常退出的原因猜测1、OOM导致Executor异常退出2、linux OOMKiller3、因磁盘问题Executor被yarn Kill4、因内存问题Executor被yarn Kill问题总结三、解决方案四、扩展：Executor因内存问题被Yarn Kill的情况1、Overhead 区域使用超过预期值2、Executor又开启了子进程导致总...
2019-06-25 16:33:15
27704
原创 Spark任务输出文件过程详解
文章目录一、Spark任务输出文件的总过程二、Commit细节分析1、commitTask 介绍1.1、判断是否需要commit1.2、task的commit细节2、commitJob 介绍三、V1和V2 commiter版本比较1、性能方面2、数据一致性方面3、总结参考资料一、Spark任务输出文件的总过程当一个Job开始执行后，输出文件的相关过程大概如下：1、Job启动时创建一个目录: ...
2019-06-14 19:47:52
6839
原创 spark-submit 任务提交过程分析
文章目录一、spark-submit脚本分析二、Main类的作用三、SparkSubmit类提交任务的过程如何和ResourceManger建立连接spark任务配置的优先级client模式的真正运行方式一、spark-submit脚本分析spark-submit的脚本内容很简单:# 如果没设置SPARK_HOME的环境变量，调用find-spark-home文件寻找spark-homei...
2019-06-11 19:05:13
3803
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人