hadoop
徐雄辉
这个作者很懒,什么都没留下…
展开
-
记录一次HBase2.x之RIT问题解决方案
1 问题描述 Region-In-Trasition机制 从字面意思来看,Region-In-Transition说的是Region变迁机制,实际上是指在一次特定操作行为中Region状态的变迁,例如merge、split、assign、unssign等操作。RIT问题指的是在RIT过程中出现了异常情况,然后导致region的状态一直保持在RIT,使得HBase出现异常。 2 ...原创 2019-11-18 20:33:30 · 1734 阅读 · 0 评论 -
Hbase常用可靠的数据迁移方案
常用的HBASE数据迁移目前的方案有非常多种,本文主要介绍两种一种为Hadoop手动数据迁移,另一种为Snapshot数据迁移 原理不多介绍,直接实战 一、Hadoop层手动数据迁移 需要注意: 1.Hadoop/hbase版本也要注意是否一致,如果版本不一致,最终load表时会报错 2.迁移实时写的表,最好是停止集群对表的写入,在以下方式需要迁移的表为Test 步骤说明:将需要迁移的...原创 2019-11-14 20:33:42 · 722 阅读 · 0 评论 -
hadoop基础之mapreduce
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了。 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume转载 2017-05-09 09:46:58 · 213 阅读 · 0 评论 -
零基础学习hadoop到上手工作线路指导(初级篇)
此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。 五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为hadoop1.X、hadoop2.X,并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。 hadoop 1.x分为 mapreduce与hdfs 其中m转载 2017-05-09 09:48:23 · 396 阅读 · 0 评论