![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 78
分布式高新能大数据存储NoSQL数据库
不秃不强就很帅
不秃也不强
展开
-
Flink-1.13.0 sql-client yarn-session模式部署
Flink-1.13.0 sql-client yarn-session模式部署当前flink:sql-client.sh是 flink下类似spark-sql的sql方式处理数据的操作接口,可以像操作普通有界数据表一样去操作无界数据流,支持流实时查询、join、事件时间、水印延迟、窗口等各种操作,不用写java/scala/python代码一样可以操作数据流,当前主sql引擎采用alibaba Blink sql实现,当前flink-1.13.0版本仍是bata版本,有的公司已经在使用,也是未来的一个趋原创 2021-05-31 15:19:10 · 2216 阅读 · 0 评论 -
Spark BulkLoad批量读写Hbase
Spark BulkLoad批量读写HbaseSpark读写Hbase,不要使用put逐条数据插入,效率太低了,要使用批量导入的方式!要分Hbase版本来做不同处理:Hbase 1.x版本依赖:<!-- spark2.x依赖省略 ---> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client<原创 2021-02-28 00:32:57 · 1569 阅读 · 0 评论 -
Hbase数据迁移方案
Hbase数据迁移方案hbase的数据迁移有几种,要求新老集群间所有机器间网络通并配有路由表或dns,查资料发现以下几种方案:1.走hdfs数据远程拷贝直接用hadoop distcp远程拷贝迁移出hfiles(先将原表disable下线,flush确保memostore持久化),再在新hbase集群创建相同表,通过LoadIncrementalHFiles工具载入hfile到这个新表低层原理是利用hadoop mapreduce 将Hfiles文件作为输入并行拷贝到新hdfs集群2.Hbase原创 2021-02-27 23:12:49 · 1635 阅读 · 0 评论