![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
文章平均质量分 82
Lu_Xiao_Yue
这个作者很懒,什么都没留下…
展开
-
java api操作hbase时遇到的问题
使用JavaAPI,java连接Hbasehbase卡着不动了<span style="color:#ff0000">log4j:WARN No appenders could be found for logger (org.apache.hadoop.security.Groups).log4j:WARN Please initialize the log4j system...原创 2018-12-04 17:15:37 · 1627 阅读 · 1 评论 -
对Hbase进行MapReduce后将结果保存到MySQL中,MapReduce从MySQL中读取数据并把数据存储到hbase中
使用Mapreduce处理hbase的数据,并将数据存储到MySQL中1、首先先定义一个类,这里面的字段要和你的mysql数据库中的表的字段相对应package com.hbase2mysql;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import org.ap...原创 2018-12-07 20:11:18 · 1223 阅读 · 1 评论 -
把MapReduce的结果存到多张MySQL表中(通过自定义OutputFormat)
在使用MapReduce对hbase中的数据进行分析时,通过编写MapReduce程序,对数据进行分析,当我使用MapReduce进行分析后的结果存储到mysql等关系型数据库。在对hbase中的数据仅分析时,要求算出每人每年的通话时长,每月的通过时常,每天的通话时常,和通话次数,是通过一个MapReduce进行编写的,然后当想要把数据存储到3张表时,遇到了困难,以前存一张表时都是使用的D...原创 2018-12-07 22:16:06 · 787 阅读 · 0 评论 -
hbase的热点问题
需求描述:扫描(查询)某个区间—》列用hbase多节点的资源,分布式扫描,加快速度==》 然后拼接到一起 如何打散数据 冠字号逆序,hash并不一定数据连续就会造成热点,这个是由数据访问模式决定的。ex:时间作为rowkey,但查询经常按一个时间段来查询=====》 时间作为rowkey会造成时间差不多的在一个region,这就会造成region server 压力大,=》形成热点...原创 2018-12-16 23:01:41 · 267 阅读 · 0 评论 -
hive与hbase关联
hive和hbase进行关联,将hbase中的和hive中的表进行关联1、把hive下的hive-hbase-handler-0.13.1-cdh5.3.6.jar包放到hbase的lib下,并修改hive-site.xml文件<property><name>hive.zookeeper.quorum</name><value>linu...原创 2018-12-11 08:22:23 · 720 阅读 · 0 评论 -
hbase为什么快
因为Hbase属于NoSQL,非关系型数据库,所以会经常拿来和关系型数据库做对比。面试的时候也会问到为何Hbase的速度快或者为什么选择Hbase作为数据库存储。下面的文章是转发的,对于上述问题的回答有一定的参考意义。仅供参考。HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的,即由LSM-Tree(Log-Structured Merge-Tree) + HTable(reg...转载 2019-01-18 13:15:21 · 1043 阅读 · 3 评论