【HBase运维】跨版本迁移

最新推荐文章于 2024-11-01 15:32:36 发布

QGBigdata

最新推荐文章于 2024-11-01 15:32:36 发布

阅读量58

点赞数

文章标签： hbase 运维 java 前端数据库

本文链接：https://blog.csdn.net/zengccc/article/details/132970988

版权

本文探讨了在HBase中从旧版本94到新版本1.1进行数据迁移的问题，包括原地升级的局限性和实时跨版本迁移的解决方案。通过修改ReplicationSink类，实现了将老版本集群的日志通过HTTP服务写入新版本的REST服务，达到实时迁移。同时，还介绍了如何在HDFS层面进行数据迁移，包括创建快照、复制数据和恢复数据的步骤。这种迁移方法允许业务在DBA迁移完成后自行验证和切换。

摘要由CSDN通过智能技术生成

问题来源

目前公司运维着两个版本HBase，分别对应社区的94版本和1.1版本。从16年开始推广新版本，新版本在功能和性能上都比94好，未来方向也在新版本上，所以有些业务需要从94版本升级到新版本，如何解决业务版本升级是团队面临的一个问题？

版本升级方案比较

版本升级有两种方式，原地升级和迁移数据升级，原地升级就是直接在原来的集群从94版本升级到1.1版本，而另一种方式就是通过把数据从94版本迁移到新版本。

原地升级

从94版本原地升级到1.1，需要升级HDFS和HBase，但是目前由于94版本比较低，从94升级到96的时候是没有办法滚动升级的，也就是说在升级期间业务肯定不能读写了。那么什么情况下适合原地升级？其实在双11之前，我们就采用过原地升级的方式升级推荐搜索集群。推荐搜索比较特殊，除了是主备集群之外，整个业务可以控制数据推送，以及随时切换流量的读写。所以，我们的任务就是在业务切换流量后，升级一个集群，完成之后升级另一个集群就可以。如果业务可以停止读写，那么原地升级是最简单的。但是大多数情况下，业务都不能停止读写或者长时间不读写。