hbase
魂落忘川犹在川
无端坠入红尘梦,惹却三千烦恼丝。
展开
-
简单实现kafka数据写入hbase
测试数据格式 19392963501,17816115082,2018-09-18 16:19:44,1431 19392963501,17816115082,2018-09-18 16:19:44,1431 14081946321,13094566759,2018-05-23 09:34:27,0610 13415701165,18939575060,2018-11-23 21:33:23,1...原创 2018-12-07 21:50:45 · 3563 阅读 · 0 评论 -
hive和HBase的比较
Hive 1、数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方便使用 HQL 去管理查询。 2、用于数据分析、清洗 Hive 适用于离线的数据分析和清洗,延迟较高。 3、基于HDFS,MapReduce Hive 存储的数据依旧在DataNode 上,编写的 HQL 语句终将是转换为MapReduce 代码执行。 HBase 1、数据库 ...原创 2018-12-03 20:52:42 · 263 阅读 · 0 评论 -
hbase中的Rowkey设计原则
Rowkey长度原则 Rowkey是一个二进制码流,Rowkey的长度被很多开发者建议说设计在10~100个字节,不过建议是越短越好,不要超过16个字节。 原因如下: (1) 数据的持久化文件HFile中是按照KeyValue存储的,如果Rowkey过长比如100个字节,1000万列数据光Rowkey就要占用100*1000万=10亿个字节,将近1G数据,这会极大影响HFile的存储效率; (2...原创 2018-12-03 21:32:29 · 505 阅读 · 1 评论 -
使用MapReduce读取Hbase数据到本地磁盘
本文主要讲述读取hbase数据到本地磁盘,且仅一个分区文件,若想一次输出多个分区文件,参考本文上篇文章: https://blog.csdn.net/weixin_43345864/article/details/84889874 代码如下: 注意Hadoop版本问题: pom.xml如下 <build> <plugins> <...原创 2018-12-10 21:11:24 · 910 阅读 · 0 评论