Hadoop上路_15-HBase0.98.0入门

最新推荐文章于 2024-07-19 17:17:26 发布
最新推荐文章于 2024-07-19 17:17:26 发布
阅读量96 收藏
点赞数
文章标签： 大数据 java

目录[-]

以下操作在Hadoop分布式集群基础上进行。

一。分布式环境搭建

下载：http://www.apache.org/dyn/closer.cgi/hbase/，hbase-0.98.0-hadoop2-bin.tar.gz。

1.在master主控机安装HBase

1）解压

SHELL$tar-zxvfhbase-0.98.0-hadoop2-bin.tar.gz
SHELL$mvhbase-0.98.0-hadoop2~/hbase0.98.0hadoop2

2）配置环境变量

（1）修改/etc/profile文件
SHELL$sudogedit/etc/profile

（2）验证

3）修改%HBASE%/conf/hbase-env.sh

4）修改$HBASE_HOME/conf/hbase-site.xml

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<? xml version = "1.0" ?>
<? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?>
< configuration >
< property >
<!-- hbase的master主机名和端口 -->
< name >hbase.master</ name >
< value >hdfs://192.168.1.240:60000</ value >
</ property >
< property >
<!-- Hbase数据保存目录 -->
< name >hbase.rootdir</ name >
<!-- 主机和端口号与$HADOOP_HOME/.../core-site.xml的fs.defaultFS的主机和端口号一致 -->
< value >hdfs://192.168.1.240:9000/hbase</ value >
</ property >
< property >
<!-- 开启分布式 -->
< name >hbase.cluster.distributed</ name >
< value >true</ value >
</ property >
< property >
<!-- hbase集群中zookeeper的主机各节点，使用奇数可尽量确保选举leader公平 -->
< name >hbase.zookeeper.quorum</ name >
<!-- value>hapsalve1,hapsalve2,hapsalve3</value -->
< value >192.168.1.241,192.168.1.242,192.168.1.243</ value >
</ property >
< property >
<!-- hbase临时文件位置 -->
< name >hbase.tmp.dir</ name >
< value >/home/hadoop/hbase0.98.0hadoop2/hbase-tmp</ value >
</ property >
< property >
<!-- hbase临时zookeeper数据存放位置 -->
< name >hbase.zookeeper.property.dataDir</ name >
< value >/home/hadoop/hbase0.98.0hadoop2/zookeeper-temp</ value >
</ property >
</ configuration >


5）$HBASE_HOME/conf/regionservers文件增加

2.把HBase复制到slave从属机

SHELL$sudoscp-rpv/home/hadoop/hbase0.98.0hadoop2/hadoop@hapslave*:/home/hadoop/

3.启动HBase集群

在Hadoop集群启动后，再启动HBase集群。
SHELL$start-hbase.sh


在主控机通过web界面查看（本例配置4个节点）：

4.停止HBase集群

SHELL$stop-hbase.sh

二。HBaseShell

SHELL$hbaseshell

1.建表create

2.列出全部表list

3.表描述describe

4.删除表disable,drop

5.插入条目put

6.展示全表scan

7.查询条目get

8.更新条目put

9.删除条目delete



清空表：


truncate是一个能够快速清空资料表内所有资料的SQL语法。并且能针对具有自动递增值的字段，做计数重置归零重新计算的作用

10.统计参数

三。JavaAPI

全部API在%HBase%/docs目录里，完全是英文的。
本例所须全部jar都可以在%HBase安装目录%/lib目录中找到。图省事，我一股脑儿全导入了。

1.创建一张表

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
package com.cuiweiyou.test;
import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Test;
public class HBaseTest {
//创建表
@Test
public void creatTable() throws Exception {
String strTBName = "tb_test" ; //表
String strColFamily = "cf" ; //列族
//配置
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
//管理员
HBaseAdmin hbaseAdmin = new HBaseAdmin(conf);
//addColumn(String tableName, HColumnDescriptor column) //向一个已经存在的表添加咧
//checkHBaseAvailable(HBaseConfiguration hbaseConf) //静态函数，查看HBase是否处于运行状态
//deleteTable(byte[] tableName) //删除一个已经存在的表
//enableTable(byte[] tableName) //使表处于有效状态
//disableTable(byte[] tableName) //使表处于无效状态
//HTableDescriptor[] listTables() //列出所有用户控件表项
//modifyTable(byte[] tableName, HTableDescriptor tableDesc) //修改表的模式，是异步的操作，耗时
//tableExists(String tableName) //检查表是否存在
//表名称
TableName tableName = TableName.valueOf(strTBName);
//表描述器
HTableDescriptor tableDesc = new HTableDescriptor(tableName);
//removeFamily(byte[] column) //移除一个列族
//getName() //获取表的名字
//getValue(byte[] key) //获取属性的值
//setValue(String key, String value) //设置属性的值
tableDesc.addFamily( new HColumnDescriptor(strColFamily)); //添加列族
//创建一个表，同步操作
hbaseAdmin.createTable(tableDesc);
System.out.println( "创建表" + strTBName + "成功" );
}
}

2.添加一条记录

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
//为表添加数据
@Test
public void addData() throws IOException {
String strTBName = "tb_test" ;
String strColFamily = "cf" ;
String strColumn = "col" ; //列名
String strRowKey = "row1" ; //行号
String strValue = "values" ; //值
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
//表实例
HTable table = new HTable(conf, strTBName);
//close() 释放所有的资源或挂起内部缓冲区中的更新
//exists(Get get) 检查Get实例所指定的值是否存在于HTable的列中
//get(Get get) 获取指定行的某些单元格所对应的值
//getEndKeys() 获取当前一打开的表每个区域的结束键值
//getScanner(byte[] family) 获取当前给定列族的scanner实例
//getTableDescriptor() 获取当前表的HTableDescriptor实例
//getTableName() 获取表名
//isTableEnabled(HBaseConfiguration conf, String tableName) 检查表是否有效
// 获取所有的列族
HColumnDescriptor[] columnFamilies = table.getTableDescriptor().getColumnFamilies();
//HColumnDescriptor的常用方法：
//getName() //获取列族的名字
//getValue(byte[] key) //获取对应的属性的值
//setValue(String key, String value) //设置对应属性的值
//插入器
Put put = new Put(Bytes.toBytes(strRowKey)); // 设置行号，RowKey
//add(byte[] family, byte[] qualifier, byte[] value) 将指定的列和对应的值添加到Put实例中
//add(byte[] family, byte[] qualifier, long ts, byte[] value) 将指定的列和对应的值及时间戳添加到Put实例中
//getRow() 获取Put实例的行
//getRowLock() 获取Put实例的行锁
//getTimeStamp() 获取Put实例的时间戳
//isEmpty() 检查familyMap是否为空
//setTimeStamp(long timeStamp) 设置Put实例的时间戳
for ( int i = 0 ; i < columnFamilies.length; i++) {
String familyName = columnFamilies[i].getNameAsString(); // 获取列族名
//指定列族
if (familyName.equals(strColFamily)) {
//插入
put.add(Bytes.toBytes(familyName), Bytes.toBytes(strColumn), Bytes.toBytes(strValue));
}
}
table.put(put); //运行插入器
System.out.println( "存入数据完毕" );
}

3.读取指定行记录

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
//根据RowKey查询整行
@Test
public void getRow() throws IOException {
String strTBName = "tb_test" ;
String strRowKey = "row1" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HTable table = new HTable(conf, strTBName); //获取表实例
//查询器
Get get = new Get(Bytes.toBytes(strRowKey)); //查询指定行
//addColumn(byte[] family, byte[] qualifier) 获取指定列族和列修饰符对应的列
//addFamily(byte[] family) 通过指定的列族获取其对应列的所有列
//setTimeRange(long minStamp,long maxStamp) 获取指定取件的列的版本号
//setFilter(Filter filter) 当执行Get操作时设置服务器端的过滤器
Result result = table.get(get);
//containsColumn(byte[] family, byte[] qualifier) 检查指定的列是否存在
//getFamilyMap(byte[] family) 获取对应列族所包含的修饰符与值的键值对
//getValue(byte[] family, byte[] qualifier) 获取对应列的最新值
List<Cell> listCells = result.listCells(); //指定行、全部列族的全部列
for (Cell cell : listCells) {
System.out.println( "列 族：" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println( "列 名:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println( "列 值：" + Bytes.toString(CellUtil.cloneValue(cell)));
System.out.println( "时间戳：" + cell.getTimestamp());
}
}

4.显示所有数据

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
//遍历全部条目
@Test
public void getAllRows() throws IOException {
String strTBName = "tb_test" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HTable table = new HTable(conf, strTBName); //获取表实例
//扫描器
ResultScanner resultScanner = table.getScanner( new Scan()); //针对全表的查询器
Iterator<Result> results = resultScanner.iterator();
while (results.hasNext()) {
Result result = results.next();
List<Cell> cells = result.listCells();
for (Cell cell : cells) {
System.out.println( "列 族：" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println( "列 名:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println( "列 值：" + Bytes.toString(CellUtil.cloneValue(cell)));
System.out.println( "时间戳：" + cell.getTimestamp() + "\n------------------" );
}
}
}

5.更新条目

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
//更新表中某行的某一列
@Test
public void updateTable() throws IOException {
String strTBName = "tb_test" ;
String strColFamily = "cf" ;
String strColumn = "col" ;
String strRowKey = "row1" ;
String strNewValue = "NewValues" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HTable table = new HTable(conf, strTBName); //获取表实例
Put put = new Put(Bytes.toBytes(strRowKey));
//仍然是插入操作（已知列族，已知列，新值）
put.add(Bytes.toBytes(strColFamily), Bytes.toBytes(strColumn), Bytes.toBytes(strNewValue));
table.put(put);
System.out.println( "更新结束" );
}

6.删除单元格

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
//删除指定行的指定的列（删除单元格）
@Test
public void deleteColumn() throws IOException {
String strTBName = "tb_test" ;
String strColFamily = "cf" ;
String strColumn = "col" ;
String strRowKey = "row1" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HTable table = new HTable(conf, strTBName); //获取表实例
//删除器
Delete del = new Delete(Bytes.toBytes(strRowKey));
del.deleteColumns(Bytes.toBytes(strColFamily), Bytes.toBytes(strColumn));
table.delete(del);
System.out.println( "行：" + strRowKey + "，列族：" + strColFamily + "，列：" + strColumn + "，删除完毕" );
}

7.删除整行

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
//删除整行
@Test
public void deleteAllColumn() throws IOException {
String strTBName = "tb_test" ;
String strRowKey = "row1" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HTable table = new HTable(conf, strTBName); //获取表实例
Delete deleteAll = new Delete(Bytes.toBytes(strRowKey));
table.delete(deleteAll);
System.out.println( "这一行全删除了" );
}

8.删除表单

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
//删除表
@Test
public void deleteTable() throws IOException {
String strTBName = "tb_test" ;
Configuration conf = HBaseConfiguration.create();
conf.set( "hbase.zookeeper.quorum" , "192.168.1.241,192.168.1.242,192.168.1.243" );
HBaseAdmin admin = new HBaseAdmin(conf);
admin.disableTable(strTBName);
admin.deleteTable(strTBName);
System.out.println(strTBName + "表 删除了" );
}



-end

小飞侠-2
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase的实践操作（虚拟机Linux系统）
wonderboyLU的博客
07-16 3771
（一）.Hbase的shell操作 1.进入hbase shell 在启动HDFS和Hbase之后，在Linux客户端输入“hbase shell”命令将进入Hbase Shell。 打开Hbase Shell之后，首先输入“help”命令，Hbase Shell会显示Hbase所提供的所有Shell命令。 2．创建、查看、删除命名空间 建立一个test的命名空间，具体的命令如下 通过如下describe命令来查看所建立的命名空间的详细信息 我们也可以通过如下命令来查看当前Hba.
hbase编程
m0_46671240的博客
04-28 1832
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.; import org.apache.hadoop.hbase.client.; import org.apache.hadoop.hbase.util.Bytes; ​ import java.io.IOException; public class ExampleForHBase { public static Configuration config
Java 操作Hbase 完整例子
ge2468的博客
04-07 730
开发工具：Eclipse， 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.h...
java API对Hbase进行连读写创的操作
江西师范大学-20届-吴悠
11-12 328
java API对Hbase进行连读写创的操作 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hba...
hbase 0.98 java_Hadoop上路-04_HBase0.98.0入门
weixin_39820588的博客
02-18 87
以下操作在Hadoop分布式集群基础上进行。一。分布式环境搭建1.在master主控机安装HBase1)解压SHELL$tar-zxvfhbase-0.98.0-hadoop2-bin.tar.gzSHELL$mvhbase-0.98.0-hadoop2~/hbase0.98.0hadoop22)配置环境变量(1)修改/etc/profile文件SHELL$sudogedit/etc/...
adoop上路_15-HBase0.98.0入门
codepython的专栏
12-13 651
赞0 开源中国 Team 团队协作平台正式开放 —— http://team.oschina.net Hadoop 2.3.0 分布式 HBase 0.98.0 目录[-] 一。分布式环境搭建 1.在master主控机安装HBase 1）解压 2）配置环境变量 3）修改%HBASE%/conf/hbase-env.sh 4）修改$HBASE
hbase 0.98 java_HBase-0.98.0和Phoenix-4.0.0分布式安装指南
weixin_39716521的博客
02-21 47
2014-04-2216:34:36,701FATAL[regionserver60020]regionserver.HRegionServer:Masterrejectedstartupbecauseclockisoutofsyncorg.apache.hadoop.hbase.ClockOutOfSyncException:org.apache.hadoop.hba...
hadoop-1.2.1伪分布配置hbase-0.98.0
鲍礼彬的CSDN博客 ~_~
02-04 1064
hadoop-1.2.1伪分布配置hbase-0.98.0   1、 可以查看hadoop-1.2.1 与hbase-0.98.0 版本是否兼容： 打开hbase的压缩包：   2、解压完毕，查看 hbase/conf 里面的配置文件：   3、编辑 hbase-env.sh 文件：   4、进行配置： 一共三处： Jdk和hadoop： Hbase用自己的
python hbase_Python操作Hbase
weixin_39785970的博客
11-28 977
目录：1.原理介绍2.安装环境所依赖的工具3.安装Thrift4.拷贝python操作hbase 符合Thrift协议的API目录到开发目录5.启动Thrift服务6.启动Hbase7.测试1.原理介绍2.安装环境所依赖的工具sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-dev...
hadoop_hadoop-2.7.2-hbase-jar.rar linux下包
06-16
标题 "hadoop_hadoop-2.7.2-hbase-jar.rar" 提供的信息表明，这是一个与Hadoop相关的压缩文件，具体来说是Hadoop 2.7.2版本的HBase JAR文件。Hadoop是一个开源框架，主要用于分布式存储和处理大数据。而HBase是建立...
伪分布式安装(VMware_Hadoop - HBase - Zookeeper).docx
08-21
VMware_Hadoop_HBase_Zookeeper 伪分布式安装指南 标题解读 本文档主要讲述了使用 VMware 搭建伪分布式环境的步骤，包括虚拟机的安装、网络配置、JDK 的安装、Hadoop、HBase 和 Zookeeper 的安装等。 描述解读 ...
intel-Hadoop.rar_hadoop_hbase
09-23
标题中的“intel-Hadoop.rar_hadoop_hbase”表明这是一个关于Intel优化过的Hadoop发行版，其中包含了对HBase的深入探讨。Hadoop是分布式计算框架，而HBase是基于Hadoop的数据存储系统，两者在大数据处理领域都有着...
Apache Hadoop---HBase.docx
06-11
Apache HBase是一个基于Hadoop的分布式列族数据库，它针对大规模结构化数据提供高可靠性、高性能、可伸缩的实时读写访问。HBase的设计灵感来源于Google的BigTable，采用了一个增强的稀疏排序映射表的数据模型，键由...
完全分布式搭建(VMware_Hadoop - Zookeeper - HBase).docx
08-21
根据老师讲授所记录的环境搭建笔记，供以后使用。（接之前的伪分布式安装）
centos（或openEuler系统）安装kafka集群
时时刻刻看着自己的心的专栏
07-18 957
kafka集群 kraft模式，不用zookeeper
RTI DDS大数据碎片
qq_33089547的博客
07-17 964
PublicationBuiltingTopicData或SubscriptionBuiltnTopicData样本较大的最常见原因是序列化的TypeCode或TypeObject，但您也可能发送了大量属性（通过7.5.19 PROPERTY QosPolicy（DDS扩展））或具有较大的ContentFilteredTopic筛选器表达式，以及其他大小可变的字段，这可能会导致样本大小较大。如果您尝试发送一个大小大于MTU的DDS样本，但尚未设置DDS级碎片，您将看到IP级碎片。
Kudu节点数规划
最新发布
07-19 448
由于Kudu是Hadoop生态的一部分（虽然它不依赖于Hadoop生态系统），因此大多数实际应用场景需要的不仅仅是Kudu；为了输入数据，可能需要Kafka、StreamSets或Spark Streaming；对于机器学习和数据处理，可能需要Spark；对于交互式SQL，我们也肯定想要Impala。实际上，Kudu和Hadoop生态系统紧密低集成正是其优势之一，因此我们很少单独使用Kudu，所以，在讨论Kudu集群规划时，一般不仅仅是考虑到Kudu。
2024年大数据高频面试题(下篇）
program哲学
07-17 7047
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
Hadoop-HBase-Hive集群安装配置实战指南
"这份文档详细介绍了在Hadoop2.4、Hbase0.98和Hive环境下构建集群的步骤和配置，适用于初学者。它涵盖了从基础的硬件配置到各个组件的安装与运行，包括Zookeeper、HDFS、YARN以及HBase和Hive的集群设置。" 在构建一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值