![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 95
技多不压身
不掉头发的开发,哈哈~~
展开
-
spring boot整合spark,基于yarn运行提交spark任务 spark on yarn
springboot整理spark,基于yarn提交job任务原创 2021-12-31 15:09:30 · 9914 阅读 · 13 评论 -
hdfs delegation token 过期问题分析
什么是delegation tokendelegation token其实就是hadoop里一种轻量级认证方法,作为kerberos认证的一种补充。理论上只使用kerberos来认证是足够了,为什么hadoop还要自己开发一套使用delegation token的认证方式呢?这是因为如果在一个很大的分布式系统当中,如果每个节点访问某个服务的时候都使用kerberos来作为认证方式,那么势必对KDC造成很大的压力,KDC就会成为一个系统的瓶颈。与kerberos的区别kerberos认证需三方参与,cl原创 2021-12-31 14:55:13 · 4308 阅读 · 1 评论 -
hadoop2.0在线升级,不停止hadoop集群
介绍HDFS 滚动升级允许单个的hdfs节点(守护进程)进行升级。例如,datanodes 节点可以单独升级不影响namenodes。反之亦然。升级在hadoop2.0版本,hdfs 支持 name services的ha功能,并且是强一致性的。这两个特性可以让我们有机会实现升级hdfs集群而不需要关闭hdfs服务。只有做了HA的集群才可以滚动升级。如果在新的版本中有新的功能,并且这个功能不能在旧版本中使用,这种情况请遵循以下步骤:1. 关闭新功能2. 升级集群3. 开启新功能ps:Rol转载 2020-06-04 17:52:21 · 435 阅读 · 0 评论