HBase
无名一小卒
Wubba lubba dub dub
展开
-
Linux中安装Hbase,简单使用Hbase帮助命令
HBASE数据库特点nosql数据库 ,列式存储数据,内存存储HBASE表每行数据都有一个主键:rowkey一个表中,包含1个或者多个列簇(Column Family)CF某个字段要属于某个列簇 一个列簇下面可以有百万个列HBASE存储数据的本质可以理解为键值对存储key:rowkey +CF +column +timstampvalue:值是二进制方式存储HBase数...原创 2019-07-29 20:45:54 · 1016 阅读 · 0 评论 -
HBase的存储模式(架构)各模块作用解释;Client向HBASE表中写入数据的步骤
想弄清楚HBASE的架构,要先了解下面这几个点HBase的体系结构HBase是主从架构下面是HBase的体系结构HBASE的系统表作用Zookeeper与HMaster对HBASE集群的影响第一点:如果zookeeper Cluster挂掉,整个HBASE集群挂掉,用户不能读写HBASE表中的数据第二点:如果HBASE Master挂掉,暂不会影响HBASE集群的读写短暂时间,...原创 2019-07-29 21:18:04 · 806 阅读 · 0 评论 -
HBASE表的设计;如何将数据迁入到/存储到HBASE表中;HBase中的nameSpace;检索数据的三种办法;使用Sqoop将Mysql中的数据导入HBase中;创建预分区表
HBASE表的设计最关键一点,最重要的一点rowkey的设计 -1.不能重复 -2.前缀匹配原则 -3.热点性 常用倒转字段方法如何将数据迁入到/存储到HBASE表中方式一:批量将数据存储到HBASE表中使用MapReduce或者Spark程序完成SQOOP将RDBMS表中的数据导入到HBASE表中方式二:实时将采集到数据存储到HBASE调用HBase Java AP...原创 2019-07-29 21:55:34 · 539 阅读 · 0 评论 -
HBase存储在HDFS上目录结构;HBase表中的数据压缩配置
HBase文件存储HBase是基于HDFS存储文件的,所有文件与文件架构都在HDFS文件系统上都在hbase这个目录下这里以1.2.0为例介绍,目录如下:/hbase/.tmp/hbase/WALs/hbase/archive/hbase/corrupt/hbase/data/hbase/hbase.id/hbase/hbase.version/hbase/oldWALs...转载 2019-07-30 20:19:27 · 2720 阅读 · 0 评论 -
解决在使用Java API操作HBase中出现的Could not locate executable null\bin\winutils.exe in the Hadoop binaries.错误
在使用Java API操作HBase时,会出现以下错误虽然可以使用API对HBase数据库进行操作,但一直出现这种异常,还是让人很难受的于是设法解决该问题异常产生原因无法在Hadoop二进制文件中找到可执行文件null \ bin \ winutils.exe。这是异常的翻译其实就是空指针异常,那么为什么会产生空指针异常?查找了相关资料后,发现错误出现的原因与位置在操作HBase...原创 2019-07-30 21:00:36 · 559 阅读 · 0 评论 -
使用Java API操作HBase数据库;设置过滤器;设置查询优化;建立压缩预分区表;删除/增加数据
准备事项该案例使用了Maven来管理依赖,下面是pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...原创 2019-07-30 21:51:07 · 420 阅读 · 0 评论 -
使用HBase中自带的MapReduce操作HBase中的表;将tsv/csv数据导入HBase中的两种方式;HBase使用总结
HBase中导入数据方式创建表以后,我们需要向表中 批量 的插入数据-1.可以调用Java APIPut(单条,多条)-2.使用Mapreduce(1)SQOOP工具,将RDBMS中的数据导入(2)使用自带MapReduce程序(3)自己编写MapReduce使用Sqoop可以将关系型数据库中的数据导入HBase中如果想要导入tsv/csv文件类型的数据HBase提供了一些类,...原创 2019-07-31 20:38:12 · 578 阅读 · 0 评论 -
自定义Java MapReduce操作HBase数据库导入数据的两种方式
自定义实现将一张表中的数据读出,处理后存入到另外一张表中以下操作需要预先在HBase中创建目标表import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.hbase.Cell;import org.apache.ha...原创 2019-08-01 20:13:16 · 650 阅读 · 0 评论