![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
breeze_lsw
打杂工程师
展开
-
大数据平台资源治理经验总结
文章目录背景组件HDFS为什么需要治理为什么难以推动需要做什么部分效果图SPARK & YARN为什么需要治理需要做什么部分效果图计费后记背景大数据平台早期是野蛮生长的,任务直接在终端提交运行,处于一种完全无管理的自由状态。在17年上线了内部的大数据平台后,用户开始逐渐在平台上进行数据管理,代码编写,作业管理等工作,但是资源治理依旧缺失。随着业务及数据量的不断增加,集群扩容,存储和计...原创 2020-04-23 14:27:15 · 2531 阅读 · 0 评论 -
hdfs du -sk 导致机器load高
hdfs 会定期(默认10分钟)使用 du -sk 命令统计BP的大小,在大硬盘机器上该操作耗时将会很长(可能超过10分钟)。这会导致 iowait 以及 load的提升。例如: 社区为了解决这个问题,主要在两个方面进行了改造: https://issues.apache.org/jira/browse/HADOOP-9884使用 df 命令替换 du允许用户自定义检查间隔时间问题虽然被原创 2017-11-10 08:41:41 · 1750 阅读 · 0 评论 -
Apache Ranger KMS 部署文档
很久没写过部署文档了,不过 Apache Ranger KMS 的手动部署较为繁琐,网上的相关资料基本都是散装的,因此写了一篇进行总结。文章目录背景安装部署安装 ranger-admin安装 ranger-kmsHDFS 配置Kerberos 配置HA 配置KMS LUNA HSMFAQ后记参考背景需要一个高可用的 KMS 服务用于数据静态加密(HDFS 透明加密 / ORC格式列加密)...原创 2020-01-10 20:51:49 · 5628 阅读 · 3 评论 -
spark on yarn cgroup 资源隔离(cpu篇)
环境配置cdh 5.9.0cm 5.15.0os centos 7.2背景yarn container 默认不支持对cpu进行资源隔离,一些计算密集型任务甚至可能占满NM节点的cpu资源,从而影响到其他任务的执行效率。spark streaming 出现消费延时一些调度任务运行时间波动较大目标限制一些计算密集型任务的CPU使用,避免多 Cont...原创 2018-08-02 17:59:21 · 4026 阅读 · 3 评论 -
Kerberos ticket 生命周期
基本概念Kerberos ticket 有两种生命周期,ticket timelife (票据生命周期) 和 renewable lifetime (可再生周期)。当 ticket lifetime 结束时,该 ticket 将不再可用。如果 renewable lifetime > ticket lifetime ,那么在票据生命周期内都可以其进行续期,直到达到可再生周期的上限...原创 2018-11-27 14:12:01 · 4438 阅读 · 0 评论