hbase
文章平均质量分 91
huangyueranbbc
这个作者很懒,什么都没留下…
展开
-
Java登录Kerberos认证过期问题
问题:最近CDH集群增加了kerberos认证,发现了JavaWeb应用启动后,超过24小时后,kerberos凭证过期到时查询Hbase失败的问题。Spark程序连接CDH时,通过principal和keytab配置方式,内部会将凭证到hdfs上,供Executor和Driver使用。当凭证Ticket快要失效时,会通过Keytab重新生成凭证。spark2-submit \ --master yarn \ --deploy-mode cluster \ --num-exec.原创 2020-11-30 16:29:36 · 7233 阅读 · 6 评论 -
HBase表设计----预分区和散列存储
hbase设计存在一个常见的问题便是HBase对于row的不均衡分布,它们被存储在一个唯一的rowkey区间中,被称为region,区间的范围被称为Start Key和End Key。热门数据key连续,导致热门数据被分到同一个region中,即同一个服务器节点中,会导致该节点的压力远大于其他服务器节点的压力,数据倾斜。 解决思路很简单:散列存储+预分区散列可以采用hash散...原创 2018-11-21 17:22:16 · 774 阅读 · 0 评论