![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cdh
小猴子搬砖
大数据开发
展开
-
CDH集群Hadoop启用HA后,Hive查询不了,无法加载元数据问题
Hadoop启用HA以后,很多人会遇到hive表查询不了的相关问题,出现该问题的原因是由于hive元数据的问题,在Hive数据库中有两张表:DBS : Hive数据仓库的总路径SDS : Hive每张表对应的路径数据库中保存了原来的hdfs的路径,修改成HA对应的别名即可。Mysql变更规范:update 表名 set 字段名=REPLACE (字段名,‘原来的值’,‘要修改的值’)修改范例:UPDATE DBS SET DB_LOCATION_URI=REPLACE (DB_LOCA原创 2021-04-19 17:10:37 · 588 阅读 · 0 评论 -
CDH集群清理磁盘空间
对于很多CDH使用者来说,随着时间的推移,磁盘空间会越来越少,除了一部分数据占用外,其他的一部分空间不知道保存着什么数据,无法清理,本博主今天就分享一下定期清理CDH集群指南。 1.由于HDFS有回收站,如何设置不合理的话,它会长时间占用集群资源,因此我们首先清理HDFS回收站。 (1)在平时删除HDFS文件时,可以使用命令:hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently,这样的话文件就直接删除了,不会放在回收站.原创 2021-03-24 16:56:27 · 2289 阅读 · 2 评论 -
大数据基础之kudu:Tablet Server增加数据存储路径
kudu作为hadoop生态体系中实时数据查询存储引擎,越来越受到欢迎。但是,当kudu的Tablet Server数据存储路径需要增加时,好多人不知道如何处理,今天本博主就给大家解决一下kudu的Tablet Server增加数据存储路径的难题。1.停止所要增加数据存储路径的tabletserver。2.在磁盘准备kudu新数据目录(如:/data/d1),各机器可能不一致3.在CDH页面增加目录配置,并保存。4.执行命令:sudo -u kudu kudu fs update_dirs --f原创 2021-01-15 16:44:10 · 1580 阅读 · 0 评论