![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
liyonghui123
唐山人士
展开
-
Hbase通过 Mapreduce 写入数据到Mysql
<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <...原创 2015-01-16 10:10:53 · 242 阅读 · 0 评论 -
HBase Java Api详解
一、HBaseConfiguration关系:org.apache.hadoop.hbase.HBaseConfiguration作用:对HBase进行配置 返回值 函数 描述 void addResource(Path file) 通过给定的路径所指的文件来添加资源 void clear() 清空所有已设置的属性 strin...原创 2014-09-26 17:17:30 · 94 阅读 · 0 评论 -
TableExistsException: hbase:namespace
准备记录下我在学习和工作中遇到的hbase报错信息及解决方案。 描述:HMaster启动之后自动挂掉,并且master的log里出现“TableExistsException: hbase:namespace”字样,很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置,所以造成了冲突。 解决:zookeeper还保留着上一次的Hbase设置,...原创 2014-09-22 14:57:58 · 197 阅读 · 0 评论 -
hive hbase集成
Mapr框架安装完后,安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下:1. 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar ...原创 2014-09-16 10:59:33 · 126 阅读 · 0 评论 -
HBaseClient
package com.feng.scheduler.log;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.commons.lang.StringUtils;import org.apache.hadoop....原创 2016-04-13 16:38:17 · 374 阅读 · 1 评论 -
HBase MapReduce实例分析
跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便,本文将介绍HBase下 MapReduce开发要点 package hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hado...原创 2014-09-04 10:59:15 · 129 阅读 · 0 评论 -
HBase Java Api
注意: HTablePool是HBase连接池的老用法,该类在0.94,0.95和0.96中已经不建议使用,在0.98.1版本以后已经移除,仅供参考 HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文介绍常用的Api。 将HBase解压后根目录下的hbase-0.90.2.jar、hbase-0.90.2-tes...原创 2014-09-04 10:08:22 · 287 阅读 · 0 评论 -
Hive读取hbase数据
Mapr框架安装完后,安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下:1. 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar 与...原创 2015-03-13 08:55:37 · 147 阅读 · 0 评论 -
HBase基本数据操作详解
引言 之前详细写了一篇HBase过滤器的文章,今天把基础的表和数据相关操作补上。 本文档 参考最新 (截止2014年7月16日)的 官方 Ref Guide、 Developer API编写 。 所有代码均基于“hbase 0.96.2-hadoop2 ”版本编写,均实测通过。 概述 对于建表,和RDBMS类似,HBase也有names...原创 2015-02-23 14:22:04 · 361 阅读 · 0 评论 -
用新的Java API(>=0.96.0)操作HBase数据库
package com.my.hbase;import java.io.IOException;import java.util.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase....原创 2015-02-09 16:03:18 · 118 阅读 · 0 评论 -
HBase预分区设计
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁...原创 2015-02-09 11:15:37 · 624 阅读 · 0 评论 -
Hive建分区表语句
** 用户属性表(日) ************************************************************CREATE TABLE ZB_DWD.DWD_D_PRD_AL_USER_ATTR_PROV(MONTH_ID STRING,PROV_ID STRING,USER_ID STRING,ATTRIBUTE_TYPE...原创 2015-02-06 15:47:33 · 336 阅读 · 0 评论 -
HbaseUtils,HBase Java Api
package com.xx.xx.service.spark;import java.io.IOException;import java.util.ArrayList;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.u...原创 2015-02-06 14:14:44 · 178 阅读 · 0 评论 -
从hbase加载数据到hdfs
package example2; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoo...原创 2015-01-16 17:02:18 · 195 阅读 · 0 评论 -
从hadoop取出文件写入hbase表中
package example2;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyValue;i...原创 2015-01-16 17:01:11 · 240 阅读 · 0 评论 -
hdfs Map\Reduce到haase
1. 上传数据到hdfs中2. 写Map\Reduce过程3. 输出结果到hbase中Tips:1. 因为map是从hdfs中取数据,因此没有太大变化;而reduce需要输出结果到hbase中,所以这里继承了 TableReduce<keyin,valuein,keyout>,这里没有valueout,但是规定TableReduce的 valueout必须是Pu...原创 2015-01-16 16:53:41 · 80 阅读 · 0 评论 -
Hbase1.1.2的HTablePool已经被弃用,用什么来代替HTablePool呢?
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.ConnectionFactory;import org.apache.hadoop.hbase.client.Conn...原创 2016-02-01 17:04:56 · 718 阅读 · 0 评论