![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hdfs
Hdfs
duochiyikou
要更加优秀!
展开
-
集群namenode均为standby
现象描述:一体化集群,nn1和nn2都能正常启动,但是节点状态均为standby,手动切换状态nn就会挂掉,启动zkfc也会挂掉原因查找:主机防火墙关闭状态,没有异常;journalnode也能正常连接发现journalnode nsid和namenode nsid不一致nn2挂掉前的日志,大量刷日志:查VERSION中的clusterid,namenode和datan...原创 2018-12-14 09:50:11 · 441 阅读 · 0 评论 -
cdh-hdfs变更nameservice后一系列hive问题
1、hdfs集群nameservice参数为obehrpm为了迎合业务批量脚本,改为obeh,如下2、重启整个hadoop集群重启后,发现zkfc启动不了,两个nn节点都为备节点,如下:集群页面全都报错,如下:查看zfkc日志报错如下:解决:去查看zk节点,进入zk,ls /hadoop-ha发现集群名还是老的值,需要...原创 2019-04-02 18:00:22 · 1690 阅读 · 2 评论 -
2副本HDFS重启主机方案
1、您的问题是hadoop集群承载多个Hbase,且大部分数据为2副本,目前更换硬盘需要重启主机,故需要重启datanode进程,如果一次重启多台主机,担心会有丢数据风险,请帮忙提供一下优化的实施方案。实际上不管您是有几份副本,我们都建议您一台台的主机重启。因为如果一次重启多台主机的话,确实可能会造成某些block读不到,影响您的应用。2、但是从Hbase的角度上来说,我们一般都是...原创 2018-11-07 16:29:03 · 96 阅读 · 0 评论 -
hdfs Java API操作
1、获取FileSystempackage com.lyl.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import java.io.IOException;public class HdfsApi { //main函数入口 main或快捷键psvm public static void main(String[] args) throws原创 2021-01-16 16:27:01 · 71 阅读 · 0 评论