HBase
墨玉浮白
这个作者很懒,什么都没留下…
展开
-
数据如何从HBase读到MR
TableMapReduceUtil.initTableMapperJob是用来对内输入的,传递的参数之一,就是输入格式化类TableInputFormat.class,且会进行set操作:job.setInputFormatClass(inputFormatClass);TableInputFormat的父类TableInputFormatBase会创建TableRecordReader:if (trr == null) { trr = new TableRecordReader();}S原创 2021-04-12 08:41:07 · 101 阅读 · 0 评论 -
数据如何写入到HBase
TableMapReduceUtil.initTableReducerJob是用来向外输出的,传递的参数之一,就是tableName。该方法做的最主要的事,就是设置输出格式化类、配置表。 //设置输出格式化类 job.setOutputFormatClass(TableOutputFormat.class); if (reducer != null) job.setReducerClass(reducer); //输出到table中,table就是传进来的表名 con原创 2021-04-12 08:32:04 · 737 阅读 · 0 评论 -
HBase简介
HBase简介HBase,Hadoop Database简称。是一个非关系型数据库、分布式数据库。其他的非关系型数据库还有mongodb、Neo4j非关系型图数据库…等,但hbase用的是最多的。HBase特点HBase作为非关系型的分布式数据库,具备以下特点:1.高可靠性数据存储在HDFS,不易丢失。且zookeeper为集群提供了分布式协调服务,保证了集群的稳定、可靠2.高性能数...原创 2019-07-01 19:37:52 · 778 阅读 · 0 评论 -
HBase架构
架构图:hbase中的数据最终是通过DFS Client存在了DN上。Client并未直接访问HMaster(高可用),而是通过zookeeper(保证了hbase的高可用)。HMaster将Client的请求分发给HRegionServer(可伸缩的)。建好一张表存数据,最先往HRegion(可伸缩)中写,Region对数据是均匀切分。HRegion包含有:1.HLog,HLog除了...原创 2019-07-01 19:48:19 · 325 阅读 · 0 评论 -
HBase搭建完全分布式环境
前期准备HBase集群,依赖于Zookeeper集群提供分布式协调服务及存储元数据服务、依赖Hadoop集群的HDFS存储数据,因此,前期需要准备好Zookeeper和Hadoop的运行环境(点击查看Zookeeper、Hadoop环境搭建)。另外,集群搭建很有可能会因为集群内节点的时间不同步而产生问题,因此使用时间服务器来同步集群内节点时间是很有必要的(安装ntp服务:yum install...原创 2019-07-01 20:27:47 · 241 阅读 · 0 评论 -
HBase基本命令
创建表 create ‘TableName’, ‘ColumnFamily’ e.g: create ‘testTable’, ‘message’查询表结构: desc ‘TableName’ eg: desc ‘testTable’查看当先HBase中具有哪些表 list插入数据 格式:put ‘TableName’, ‘RowKey’, ‘column...原创 2019-07-06 16:59:37 · 575 阅读 · 0 评论 -
HBase在淘宝的应用和优化
一、前言hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来越重要。由于淘宝拥有也许是国内最大的单一hadoop集群(云梯),因此对hadoop系列的产品有比较深入的了解...转载 2019-07-15 21:05:00 · 348 阅读 · 0 评论