Hbase
关注
分享
扫一扫
大数据容器
这个作者很懒，什么都没留下…
展开
-
Hbase原理解析
1.系统架构上图是hbase0.9之前的版本的内部系统的构架图1.1部分功能介绍:Hase中的两张表:.meta.：记录了用户表的 Region 信息，.META.可以有多个regoin,怎么理解呢?用户的表的信息是以region的形式存储在各个regionserver节点上的,那么哪一个节点放的是哪个region的信息呢?这个.meta表就是储存这个信息的.-root-：记录...原创 2019-06-01 11:17:15 · 258 阅读 · 0 评论 -
Hbase和Hdfs的相互通讯/Hbase的mapreduce操作
1、HBase 结合 MapReduce为什么需要用 mapreduce 去访问 hbase 的数据？——加快分析速度和扩展分析能力Mapreduce 访问 hbase 数据作分析一定是在离线分析的场景下应用1.1将hbase数据转到hdfs中需求:将hbase中的数据导出到hdfs中,下边结合代码进行解释/**************************************...原创 2019-06-01 20:09:50 · 1331 阅读 · 0 评论 -
Hbase的shell操作
DDL创建namespacecreate_namespace “namespace的名字”创建表help “create”hbase> create ‘ns1:t1’, {NAME => ‘f1’, VERSIONS => 5}hbase> create ‘t1’, {NAME => ‘f1’}, {NAME => ‘f2’}, {NAME =>...原创 2019-06-01 22:19:03 · 1082 阅读 · 0 评论 -
Hbase的Api操作
public class TestHbaseConnect { static HBaseAdmin admin = null; static Connection conn = null; public static void create_namespace() throws IOException { // Builder ns = NamespaceDescriptor.cr...原创 2019-06-01 23:07:43 · 549 阅读 · 1 评论 -
hbase和Hive的整合
hbase和Hive的整合1.原理Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。Hive 访问 HBase ...原创 2019-06-02 10:36:32 · 1031 阅读 · 0 评论 -
Mysql和hbase的数据互导
Mysql和hbase的数据互导1.将mysql中的表导入到hbase中主机hadoop01 的mysql数据库中的的 test数据库下的student表中的数据如下:±-----±-------±-----------±------+| s_id | s_name | s_birth | s_sex |±-----±-------±-----------±------+| 0...原创 2019-06-02 11:54:32 · 538 阅读 · 0 评论 -
hbase的过滤器
hbase的过滤器1.概述hbase的API中可以进行查询,但是这种查询一般只能单行或者是指定行键的范围的查询,在正常需要精细查询的场合有诸多的不便,所以系统内置了很多的过滤器2.过滤器汇总过滤器分为两大类:比较过滤器和专用过滤器3.比较过滤器行键过滤器 RowFilterFilter filter1 = new RowFilter(CompareOp.LESS_OR_EQUAL...原创 2019-06-02 16:17:04 · 4319 阅读 · 0 评论 -
hbase的批量数据导入-bulkload技术应用
Hbase的批量的数据导入Hbase的数据导入有如下的几种方式使用java API的方式java API中的put操作可以将数据导入到hbase中 其中包含单条和批量导入两种方式@Test public void test5() throws IOException { // 获取Hbase配置文件的对象 // HBaseConfiguration conf=(HBas...原创 2019-06-04 13:27:00 · 3986 阅读 · 0 评论