![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hdfs
Hdfs
duochiyikou
要更加优秀!
展开
-
集群namenode均为standby
现象描述: 一体化集群,nn1和nn2都能正常启动,但是节点状态均为standby,手动切换状态nn就会挂掉,启动zkfc也会挂掉 原因查找: 主机防火墙关闭状态,没有异常;journalnode也能正常连接 发现journalnode nsid和namenode nsid不一致 nn2挂掉前的日志,大量刷日志: 查VERSION中的clusterid,namenode和datan...原创 2018-12-14 09:50:11 · 427 阅读 · 0 评论 -
cdh-hdfs变更nameservice后一系列hive问题
1、hdfs集群nameservice参数为obehrpm 为了迎合业务批量脚本,改为obeh,如下 2、重启整个hadoop集群 重启后,发现zkfc启动不了,两个nn节点都为备节点,如下: 集群页面全都报错,如下: 查看zfkc日志报错如下: 解决: 去查看zk节点,进入zk,ls /hadoop-ha 发现集群名还是老的值,需要...原创 2019-04-02 18:00:22 · 1684 阅读 · 2 评论 -
2副本HDFS重启主机方案
1、 您的问题是hadoop集群承载多个Hbase,且大部分数据为2副本,目前更换硬盘需要重启主机,故需要重启datanode进程,如果一次重启多台主机,担心会有丢数据风险,请帮忙提供一下优化的实施方案。 实际上不管您是有几份副本,我们都建议您一台台的主机重启。因为如果一次重启多台主机的话,确实可能会造成某些block读不到,影响您的应用。 2、 但是从Hbase的角度上来说,我们一般都是...原创 2018-11-07 16:29:03 · 89 阅读 · 0 评论 -
hdfs Java API操作
1、获取FileSystem package com.lyl.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import java.io.IOException; public class HdfsApi { //main函数入口 main或快捷键psvm public static void main(String[] args) throws原创 2021-01-16 16:27:01 · 68 阅读 · 0 评论