最佳实践 Hadoop/HBase
文章平均质量分 78
ELEVENS
这个作者很懒,什么都没留下…
展开
-
Hadoop datanode Datanode denied communication with namenode错误及解决
hadoop datanode 无法启动(Datanode denied communication with namenode)重启datanode,自动shutdown,查看日志发现有报错2015-07-07 04:20:38,885 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc转载 2016-07-11 10:35:12 · 1183 阅读 · 0 评论 -
HBase 备份及恢复
注意事项:1.HBase版本需要保持一致,否则数据无法恢复本方案使用export及import方法,还有其他方法可以实现,暂不涉及。1.备份,以表为单位进行导出./bin/hbase org.apache.hadoop.hbase.mapreduce.Export $table_name $dst_path2.恢复在新集群创建表,可以用describe从源集群获取转载 2016-07-11 10:59:49 · 393 阅读 · 0 评论 -
Hadoop DataNode 增加磁盘
Hadoop DataNode 增加磁盘1.磁盘格式化mkfs -t ext4 /dev/xvdd2.挂载磁盘vim /etc/fstab; mount -a3.创建datanode数据目录mkdir -p /data2/HadoopData3/dfs/data/ /data2/HadoopData4/dfs/data/chown hbase.hbase -R /dat转载 2016-07-11 11:02:11 · 966 阅读 · 0 评论 -
hadoop datanode 磁盘数据平衡
Hadoop DataNode Disk BalanceHadoop 支持 DataNode 间数据平衡,但是对于单个DataNode内的各磁盘平衡,则需要人工进行数据迁移。1.确认各数据磁盘可用空间,以确定需要迁移的数据量及迁移路径df -h2.停止datanodecd /opt/hadoop; ./bin/hadoop-daemon.sh stop datanode转载 2016-07-11 11:03:23 · 2211 阅读 · 0 评论 -
Hadoop & HBase 故障排除
Hadoop & HBase 故障排除接到报警反馈HBase故障。1.上线检查HBase日志信息,有如下报错信息,无法链接RegionServer2015-06-23 08:50:39,219 DEBUG org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: locateRegionIn转载 2016-07-11 11:05:10 · 751 阅读 · 0 评论 -
HBase长时间无法关闭问题及处理(Waiting on regionserver(s) to go down)
HBase长时间无法关闭[Waiting on regionserver(s) to go down]为了释放已经删除的region,重启hbase,执行./bin/stop-hbase.sh。等了很久还未关闭,查看master日志,显示一直在等待regionserver2015-07-08 09:11:25,800 INFO org.apache.hadoop.hbase.maste转载 2016-07-11 11:07:36 · 10035 阅读 · 0 评论 -
Hadoop/HBase常用操作及命令
1.HDFS存储服务故障快速恢复进行重启Cd /opt/hadoop/; ./bin/stop-dfs.sh ; ./bin/start-dfs.sh登录master机器curl $master:50070/fsck,检查数据健康状况。2.单个regionserver故障重启regionservercd /opt/hbase; sudo -u hbase .转载 2016-07-11 11:09:47 · 748 阅读 · 0 评论 -
常见HBase故障分析和解决方法
tail hbase-hbase-regionserver-ip-10-233-146-35.log2016-07-12 14:10:40,074 ERROR org.apache.hadoop.hdfs.DFSClient: Exception closing file /hbase/ResourceURL/eeeab3a7fb4d0d198c939eebf8e7a774/.tmp/bb原创 2016-07-13 09:53:35 · 3439 阅读 · 0 评论