- 博客(6)
- 收藏
- 关注
RSS订阅原创 zookeeper在/var/lib/zookeeper满后，无法重新启动，报错： Last transaction was partial解决办法
Last transaction was partial
2024-01-16 14:05:47
635
1
原创 由于数据丢失，导致Namenode处于安全模式无法退出的解决方案
1、背景 在cdh大数据集群中，由于意外情况服务器宕机，导致namenode的元数据丢失，重启以后，namenode一直处于safemode模式。无法退出该模式；2.处理方案 （1）执行退出安全模式：sudo -uhdfs hdfs dfsadmin -safemode leave(注：如果root有权限操作就直接执行命令：hdfs dfsadmin -safemode leave)。 （2）若上述
2021-06-01 14:03:36
1188
原创 CDH集群Hadoop启用HA后，Hive查询不了，无法加载元数据问题
Hadoop启用HA以后，很多人会遇到hive表查询不了的相关问题，出现该问题的原因是由于hive元数据的问题，在Hive数据库中有两张表：DBS ： Hive数据仓库的总路径SDS ： Hive每张表对应的路径数据库中保存了原来的hdfs的路径，修改成HA对应的别名即可。Mysql变更规范：update 表名 set 字段名=REPLACE (字段名,‘原来的值’,‘要修改的值’)修改范例：UPDATE DBS SET DB_LOCATION_URI=REPLACE (DB_LOCA
2021-04-19 17:10:37
632
原创 CDH集群清理磁盘空间
对于很多CDH使用者来说，随着时间的推移，磁盘空间会越来越少，除了一部分数据占用外，其他的一部分空间不知道保存着什么数据，无法清理，本博主今天就分享一下定期清理CDH集群指南。 1.由于HDFS有回收站，如何设置不合理的话，它会长时间占用集群资源，因此我们首先清理HDFS回收站。 （1）在平时删除HDFS文件时，可以使用命令：hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently，这样的话文件就直接删除了，不会放在回收站.
2021-03-24 16:56:27
2404
2
原创 大数据基础之Yarn-ResourceManager无法正常启动
在hadoop生态中，如果yarn的ResourceManager为HA形式,有时会遇到一个问题，两个ResourceManager的状态都为备用状态，无法正常工作，此时，我们可以简单粗暴的执行以下命令：yarn resourcemanager -format-state-store（在resourcemanager对应的节点执行）注:该命令是格式化resourcemanager的，此命令执行后之前由于异常退出的任务记录会丢失，不会执行失败的任务。需要手动去执行失败的任务。...
2021-01-15 17:48:59
1909
原创 大数据基础之kudu:Tablet Server增加数据存储路径
kudu作为hadoop生态体系中实时数据查询存储引擎，越来越受到欢迎。但是，当kudu的Tablet Server数据存储路径需要增加时，好多人不知道如何处理，今天本博主就给大家解决一下kudu的Tablet Server增加数据存储路径的难题。1.停止所要增加数据存储路径的tabletserver。2.在磁盘准备kudu新数据目录（如：/data/d1）,各机器可能不一致3.在CDH页面增加目录配置，并保存。4.执行命令：sudo -u kudu kudu fs update_dirs --f
2021-01-15 16:44:10
1664
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人