- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Hive ACID和事务表支持详解
文章目录一、ACID介绍二、使用限制三、支持的一些新的语法四、主要设计和实现base和delta文件夹的基本结构事务表的读取delta文件的压缩1、 压缩类型2、Initiator 组件3、 Worker4、Cleaner5、 AcidHouseKeeperService6、 SHOW COMPACTIONS事务表的隐藏字段五、相关配置客户端方面的修改服务端方面为事务新增的相关配置一些旧的配置修改...
2019-04-28 19:17:10
8203
原创 Spark 动态资源失效问题排查
文章目录一、问题描述二、动态资源相关原理初试executor数量executor数量的变动1、Executor Add2、Executor Remove三、问题定位Spark Task的本地化调度本地化调度级别没有及时推进导致的问题四、解决方案1、问题一2、问题二3、总结一、问题描述最近开启动态资源后，有用户反馈他的任务运行很慢，去Spark HistoryServer页面看了下，发现只剩下一...
2019-04-20 14:28:48
27537
1
原创 Hdfs FileSystem 使用姿势不对导致的内存泄露
文章目录一、问题描述二、问题排查Java Heap Dump文件使用Jmap获取运行中的jvm内存在Jhat页面查找对应类实例具体的引用问题定位三、解决方案四、总结一、问题描述有用户反馈访问httpfs服务偶尔出现502的情况，所以上httpfs服务器看了下，发现有一台因为OOM挂掉了（运维告警没弄好，所以没及时通知到）。目前有两台HttpFs，通过nginx转发，如果刚好请求转发到挂掉的那...
2019-04-14 21:25:39
3912
3
原创 Hive提交到yarn的任务一直在running问题排查
一、问题描述最近有数据平台的同学反馈yarn上面有一些任务跑了很久没有结束，状态一直处于running中。去Spark HistoryServer查看任务详情也没看到相关运行记录，需要人为手动kill任务才会停止并释放资源。二、问题排查从Spark HistoryServer可以看出，任务的Driver虽然启动了，但是并未执行job，并且一直阻塞在那没有退出。从yarn的角度来看，这个...
2019-04-13 15:46:50
32812
11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人