hbase
文章平均质量分 50
hbase
曲终人散121
努力。
展开
-
Hbase -----------3 优化
1 配置优化 2 rowkey设计 2.1 rowkey长度原则 rowkey是一个二进制码流, 最大长度64kb,实际应用中一般为10-100bytes,以byte[]形式保存。 一般越短越好,不要超过16个字节,设计过长会降低memstore内存的利用率和HFile存贮数据的效率。 2.2 热点 2.2.1预分区 预分区的目的让表的数据可以均衡的分散在集群中,而不是默认只有一个region分布在集群的一个节点上。 2.2.2加盐 这里所说的加盐不是密码学中的加盐,而是在rowkey的前面增加随机数,具体原创 2021-04-28 19:26:08 · 238 阅读 · 0 评论 -
hadoop ----5 MR
MapReduce 是一个分布式计算框架,基于HDFS. 优点 1 易于编程 2 易于扩展 3 高容错 4 离线处理 缺点 1 不擅长实时计算 2 不擅长流式 3 不擅长DAG 关系输入和输出 2 进程 2.1 MrApp 整个任务的调度和状态协调。开启MapTask和ReduceTask ,资源 2.2 MapTask 拆分任务 2.3 ReduceTask 合并结果 3 编写Mapper类Reducer类 Driver类 3.1 Mapper类 Mapper<LongWritable, Text,原创 2021-04-25 05:38:06 · 247 阅读 · 0 评论 -
Hbase ----3写入过程
参考 1 https://blog.csdn.net/qq_41919284/article/details/81676636原创 2021-04-24 05:38:29 · 155 阅读 · 0 评论 -
Hbase ---2 优化
参考 1 https://www.cnblogs.com/duanxz/p/3154345.html原创 2021-04-24 04:06:09 · 199 阅读 · 0 评论 -
Hbase ----1 基础
Hbase 是一个分布式,可扩展、PB级别的数据。 GFS-》hdfs MR->MR Bigtable-》Hbase原创 2021-04-24 02:57:09 · 171 阅读 · 0 评论