大数据
ranxyuan
代码总和我作对
展开
-
基于hadoop的Hbase集群丢失块信息后,清除Hbase数据,格式化hdfs文件系统
可以看到在hdfs文件系统中Hbase的元数据块丢失,这是非常严重的,因本人初学,所以采用格式化的方式来重建。启动Hbase集群后显示如下错误:1.清除数据之前先把Hbase和Hadoop及zookeeper(Hbase 依赖于zookeeper)的相关的进程都停掉stop-hbase.sh(停Hbase进程) stop-all.sh(停Hadoop进程) zkServer.sh s...原创 2019-07-25 22:25:47 · 2303 阅读 · 0 评论 -
centos搭建的Spark或者Hadoop集群中使用ntpdate同步更新时间
1.所有节点安装NTP:yum install ntp2.配置开机启动:chkconfig ntpd on3.检查是否设置成功:chkconfig --list ntpd (2-5为on状态则成功)4.设置同步:ntpdate -u ntp.sjtu.edu.cn(时钟服务器根据实际环境设置、本文采用210.72.145.44-国家授时中心服务器IP地址)5.在crontab工作表...原创 2019-07-02 09:56:34 · 153 阅读 · 0 评论 -
Hbase集群掉电后,重启出错,但是进程都已经启动成功
如下图所示,这个奇葩错误就是在实验室停电后我重启Hadoop和hbase集群后出现的,Hbase启动后有个自检的过程,过了一段时间才正常启动成功。Hbase报错的原因还是因为,Hadoop一直处于安全模式下,手动退出安全模式:hadoop dfsadmin -safemode leave后又显示数据块丢失(都是与hbase相关的),执行命令hdfs fsck / -delete将丢失的块...原创 2019-08-06 16:58:44 · 250 阅读 · 0 评论