java hbase创建_HBase安装详解

最新推荐文章于 2021-04-16 10:47:19 发布
最新推荐文章于 2021-04-16 10:47:19 发布
阅读量225 收藏
点赞数
文章标签： java hbase创建 使用java操纵hbase

本文将介绍如何安装HBase和初始配置。 需要用Java和Hadoop来处理HBase，所以必须下载java和Hadoop并安装系统中。安装前设置
安装Hadoop在Linux环境下之前，需要建立和使用Linux SSH(安全Shell)。按照下面设立Linux环境提供的步骤。创建一个用户
首先，建议从Unix创建一个单独的Hadoop用户，文件系统隔离Hadoop文件系统。按照下面给出创建用户的步骤。

  1. 开启root使用命令 “su”.
  2. 使用root帐户命令创建用户 “useradd username”.
  3. 现在，可以使用命令打开一个现有的用户帐户 “su username”.

打开Linux终端，输入以下命令来创建一个用户

da061ee179c4a03af2c45cc53265277f.png


SSH设置和密钥生成


SSH设置需要在集群上执行不同的操作，如启动，停止和分布式守护shell操作。进行身份验证不同的Hadoop用户，需要一种用于Hadoop的用户提供的公钥/私钥对，并用不同的用户共享。
以下的命令被用于生成使用SSH密钥值对。复制公钥从id_rsa.pub为authorized_keys，并提供所有者，读写权限到authorized_keys文件。

6ae5cd8ad63577593f57b592541f9c0f.png

验证ssh

eb229499e3e4d0b615b131bd9b7d2d62.png

安装Java
Java是Hadoop和HBase主要先决条件。首先应该使用"java -verion"检查java是否存在在您的系统上。 java -version 命令的语法如下。

e4c4be0024c08667ddbfbce0ebbeda2d.png

如果一切正常，它会得到下面的输出。

a5e4746476e28ee92fc0e39233dcae59.png

如果Java还没有安装在系统中，然后按照下面给出的步骤安装Java。

步骤 1
下载Java（JDK - X64.tar.gz），可以通过访问以下链接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。
jdk-7u71-linux-x64.tar.gz 将被下载到系统。

步骤 2
一般来说，下载文件夹中包含有Java文件。验证它，使用下面的命令提取jdk-7u71-linux-x64.gz文件。

125c23d75d1cecd3a7a277002ecd1508.png

步骤 3
为了使Java提供给所有用户，必须将它移动到“/usr/local/”。打开终端然后以root用户身份键入以下命令。

75686c34e0aab21fb0361d98c27d739a.png

步骤 4

有关设置PATH和JAVA_HOME变量，添加以下命令到〜/.bashrc文件。

113de559a132db4e2e03a50e26371c1d.png

现在从终端验证 java -version 命令如上述说明

下载Hadoop


安装Java之后，接下来就是安装Hadoop。首先使用“Hadoop version” 命令验证 Hadoop 是否存在，如下所示。

d95638146c84a92a0874574b39413bb7.png

如果一切正常，它会得到下面的输出。

d189bd9f5d79bccbcbfc1ced2a89dbf6.png

如果系统上是无法找到 Hadoop，那么证明还未安装，现在下载Hadoop在您的系统上。按照下面给出的命令。
从Apache软件基金会下载并使用下面的命令提取 Hadoop-2.6.0。

fea4dd09a08599f5f07cc642a65300c8.png

安装 Hadoop
可在任何需要的方式安装Hadoop。在这里将展示 HBase 模拟分布式模式功能，因此模拟分布式模式的Hadoop安装。
按下面的步骤来安装 Hadoop 2.4.1.

第1步 - 设置Hadoop


可以通过附加下面的命令在 〜/ .bashrc文件中以设置 Hadoop 环境变量。

f49399f4acca026ef35f0621ed82867e.png

现在，应用所有更改到当前正在运行的系统。

528a77a63ffb96a2aa294d71a66d97a2.png

第2步 - Hadoop配置


找到位于 “$HADOOP_HOME/etc/hadoop” 目录下所有的Hadoop配置文件。根据需要Hadoop将配置文件中的内容作修改。

87a6c2d78dd8cb96cd883ee6d14263f3.png

为了使用Java开发Hadoop程序，必须用java在系统中的位置来替换 hadoop-env.sh文件中的 java环境变量JAVA_HOME的值。

d451f8277e12ae27631541e3a0ce7325.png

编辑以下文件来配置Hadoop。core-site.xml
core-site.xml文件中包含，如：用于Hadoop实例的端口号，分配给文件系统，存储器限制用于存储数据存储器和读/写缓冲器的大小的信息。
打开core-site.xml，并在<configuration>和</configuration>标签之间添加以下属性。

5326f5631bc1c84112db8c3ad4b04e65.png

hdfs-site.xml
hdfs-site.xml文件中包含，如：复制数据的值，NameNode的路径，本地文件系统，要存储Hadoop基础架构的Datanode路径的信息。
假设有以下数据。

60633b6b167610b9a521d36c70511b8c.png

打开这个文件，并在<configuration>和</configuration> 标记之间添加以下属性。

be62a36d8f722b2441ef6a104e8abb7b.png

注：上面的文件，所有的属性值是用户定义的，可以根据自己的Hadoop的基础架构进行更改。yarn-site.xml
此文件用于配置成yarn在Hadoop中。打开yarn-site.xml文件，并在<configuration><configuration>标签之前添加以下属性到这个文件中。

b2d2884c7cbcdbc96e12abd26800537c.png

mapred-site.xml
此文件用于指定MapReduce框架以使用。默认情况下Hadoop包含yarn-site.xml模板。首先，它需要从mapred-site.xml复制模板到mapred-site.xml文件，使用下面的命令来。

f6e98d0f775f58b75e4a582ab35e0f46.png

打开 mapred-site.xml 文件，并在<configuration> 和 </configuration>标签之间添加以下属性。

f478ddd228cacfed2008c684fb58c8b5.png

验证Hadoop安装
下面的步骤是用来验证Hadoop的安装。
第1步 - 名称节点设置
设置名称节点使用“hdfs namenode -format”命令如下

6fbdf41f4105e89062be53959045ca21.png

预期的结果如下。

53e9d26848dfd3d1971c3f34fdd9a157.png

第2步 - 验证Hadoop DFS
下面的命令用来启动DFS。执行这个命令将启动Hadoop文件系统。
$ start-dfs.sh
预期的结果如下。

0e235c7376b0c263d812da60b03a8ba5.png

第3步 - 验证Yarn脚本

下面的命令用来启动yarn脚本。执行此命令将启动yarn守护进程。

4ebcc7591d1eb4c8e31d70e01d642caf.png

预期的结果如下。

e01d6409f07c23d424403e1aca8b97dd.png

第4步 - 访问Hadoop上的浏览器

访问Hadoop的默认端口号为50070。使用以下网址，以获取Hadoop服务在浏览器中。

db88eeb92b25ada282ee0407bdb31662.png

第5步 - 验证集群中的所有应用程序
访问群集的所有应用程序的默认端口号为8088。使用以下URL访问该服务。

14ea05c80b856609654eec253a70cffc.png

HBase安装


单机模式，模拟分布式模式，以及全分布式模式：可以在任何的三种模式来安装HBase。在单机模式下安装HBase
使用 “wget” 命令下载HBase，下载网址为：http://www.interiordsgn.com/apache/hbase/stable/ ，选择最新的稳定版本，并使用 tar “zxvf” 命令将其解压缩。请参见下面的命令。

6dd46264010b9c5c8bf8a1f75c3444eb.png

切换到超级用户模式，将HBase文件复制到/usr/local，如下图所示。

6f667e57a597808b9b49519a27254a69.png

在单机模式下配置HBase
在继续HBase之前，需要编辑下列文件和配置HBase。hbase-env.sh
为HBase设置Java目录，并从conf文件夹打开hbase-env.sh文件。编辑JAVA_HOME环境变量，改变路径到当前JAVA_HOME变量，如下图所示。

1dd57af8b6b2ddf45c12f59b0d175ade.png

这将打开HBase的env.sh文件。现在使用当前值替换现有JAVA_HOME值，如下图所示。

bc1aa8182467ddfd2f5a0efeafbc6a92.png

hbase-site.xml
这是HBase的主配置文件。通过在 /usr/local/HBase 打开HBase主文件夹，设置数据目录到合适的位置。在 conf 文件夹里面有几个文件，现在打开hbase-site.xml文件，如下图所示。

56a86ffd6e91563354dc4548e6305293.png

在hbase-site.xml文件里面，找到 <configuration> 和 </configuration> 标签。并在其中，设置属性键名为“hbase.rootdir”，如下图所示的HBase目录。

0ba9ce6850fbb53be281a41c111755e7.png

到此 HBase 的安装配置已成功完成。可以通过使用 HBase 的 bin 文件夹中提供 start-hbase.sh 脚本启动 HBase。为此，打开HBase 主文件夹，然后运行 HBase 启动脚本，如下图所示。

498ae702a2ed05a7df26498d7f2f1661.png

如果一切顺利，当运行HBase启动脚本，它会提示一条消息：HBase has started

f76f56a4aaf2b9341b448d8c2ec1c623.png

在模拟分布式模式安装HBase

现在，来看看如何安装HBase在模拟分布式模式。
CONFIGURING HBASE
继续进行HBase之前，在本地系统或远程系统上配置Hadoop HDFS并确保它们正在运行。如果它正在运行则先停止HBase。
hbase-site.xml
编辑hbase-site.xml文件中添加以下属性。

3aa15f5f9cdd25e18be17db31aa14686.png

它会提到在HBase的哪种模式运行。 从本地文件系统相同的文件改变hbase.rootdir，HDFS实例地址使用hdfs: URI 语法。在本地主机的端口8030上运行HDFS。

313c1f5ebeda429825ed1a49580c7400.png

启动HBase

经过配置结束后，浏览到HBase的主文件夹，并使用以下命令启动HBase。

b90a602f356f751207f804de6e68519c.png

注：在启动 HBase 之前，请确保 Hadoop 运行。

检查在HDFS的HBase目录

HBase创建其目录在HDFS中。要查看创建的目录，浏览到Hadoop bin并键入以下命令

5bbe87573d46055e6e1a0af6207cd268.png

如果一切顺利的话，它会给下面的输出。

0e0bc0a5293cdb7f8645fabdde2da913.png

启动和停止主服务器
使用“local-master-backup.sh”就可以启动多达10台服务器。打开HBase的master主文件夹，并执行以下命令来启动它。

29b61776f7ac3c2ce3544c2e4c00f120.png

要中止备份主服务，需要它的进程ID，它被存储在一个文件名为“/tmp/hbase-USER-X-master.pid”中，可以使用下面的命令中止备份主服务。
$ cat /tmp/hbase-user-1-master.pid |xargs kill -9 启动和停止区域服务器
可以使用下面的命令来运行在单一系统中的多个区域的服务器。
$ .bin/local-regionservers.sh start 2 3
要停止区域服务器，可以使用下面的命令。
$ .bin/local-regionservers.sh stop 3 启动HBaseShell
下面给出的是启动HBase shell的步骤。打开终端，并登录为超级用户。启动Hadoop文件系统
通过Hadoop主目录下的sbin目录文件夹浏览并启动Hadoop文件系统，如下所示。

55d307bbdec500308df4112aef610b5d.png

启动HBase
通过HBase根目录下的bin文件夹浏览并启动HBase。

77fc77d20515edfa4a495a0242fd2465.png

启动HBase主服务器
这在相同目录。启动它，如下图所示：

05fd4a770377c5904e022d47e95fac33.png

启动区域服务
启动区域服务器，如下所示。

1f79b2db6da009f57ba54d3e03db7fa1.png

启动HBase Shell
可以使用以下命令启动HBase shell

716261a6528266e13f995dfc6496f453.png

这会给出HBase shell 的提示符，如下图所示。

5f8e7ebe410b0c56e83e237e311c1f92.png

HBase的Web界面
要访问 HBase 的 Web界面，在浏览器中键入以下URL
http://localhost:60010
以下界面列出了当前正在运行的区域服务器，备份主服务以及HBase表。
HBase区域服务器和备份主服务

d5a0438e8a05a5524b97644523a21005.png

HBase 表

d5af0b2a96f34898f957153eee082576.png

设置Java环境
也可以使用Java库交互HBase，但访问HBase使用Java API之前，需要设置类库的路径。

设置类路径

f36ebe2637a9c37dae8222fe3ed34ab5.png

为HBase库设置类路径（HBase的lib文件夹），如下图所示。

2380a88a196598f1ef69a65b8649adbe.png

这是为了防止“未找到类（class not found）”异常，同时使用Java API访问HBase。

weixin_39754603
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase的shell操作
03-30
这里详细介绍了hbase的命令行操作，版本信息的一些管理
hbase shell命令_HBase 基础条件
weixin_39634067的博客
11-21 215
在本文中，我们列出了使用HBase时所需要的服务和一些必需的系统配置。安装JavaJava是Hadoop和HBase主要先决条件。首先应该使用"java -verion"检查java是否存在在您的系统上。 java -version 命令的语法如下。如果一切正常，它会得到下面的输出。如果Java还没有安装在系统中，请你安装Java！HBase版本与JDK在下表中你可以看到HBase版本与其对应支持...
hbase目录介绍
梦想还是要有的，万一实现了呢！
05-15 228
/hbase/.tmp:     临时目录，当对表做创建和删除操作时，会将表move到该目录下，然后进行操作。 /hbase/WALs:    RegionServer在处理数据插入和删除的过程中记录操作内容的一种日志，在0.94叫.logs /hbase/data:    默认情况下该目录下有两个目录        Hbase/data/default:当在用户创建表的时候，没有指定namesp...
Hbase_目录结构.pptx
06-19
/hbase/archive (1) 进行snapshot或者升级的时候使用到的归档目录。compaction删除hfile的时 候，也会把旧的hfile归档到这里等。 /hbase/corrupt (2) splitlog的corrupt目录，以及corrupt hfile的目录。
远程连接Hbase之环境配置
ghd602338792的博客
12-12 3940
前几天,突然接到任务,须连同Hbase数据库,因之前没有接触过,以为这就是和普通数据库连接方式一样,后来在操作过程中,才发现,坑真的很多,话不多说,直接上代码: 1.首先查看远程服务器(本人是开发库)的Hbase版本,通过Hbase shell命令连接到Hbase 查看到版本为1.2.0,此外还有其他查看方式,查看/lib/*****.jar文件也可看出版本号,查看此版本的原因是要与pom...
Hbase技术原理详解及案例分析
03-07
第二部分，对Hbase进行基本的概述，主要介绍其中基本原理，第三部分对Hbase的技术进行详解，包括关键成员和技术优化。第四部分，通过一个小的java api案例，介绍Hbase的开发使用，详细分析hbase的应用场景和优化方式...
Hbase Java API详解.pdf
03-30
Hbase Java API详解 是开发hbase 数据库很好的收　对初学者有好友
hadoop Hbase详解包
06-21
主要讲解 Hadoop Hbase的使用和原理，包括Hbase官方文档的翻译，还有Java对Hbase的操作等。
基于HBase Thrift接口的一些使用问题及相关注意事项的详解
12-19
HBase对于非Java语言提供了Thrift接口支持，这里结合对HBase Thrift接口（HBase版本为0.92.1）的使用经验，总结其中遇到的一些问题及其相关注意事项。1. 字节的存放顺序HBase中，由于row（row key和column family、...
bigdata-practice:常用大数据工具学习实战，包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper....未完待续
05-24
HBase Practice Hive Practice Kafka Practice Click House Redis Practice 缓存击穿，缓存穿透，缓存雪崩的解决方案 分布式数据库与缓存双写一致性解决方案 使用redis简单正确实现分布式锁 使用Lettuce作为redis...
HBase（四）HBase集群Shell操作
weixin_42073629的博客
10-05 906
一、进入HBase命令行 在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客 户端 [admin@node21 ~]$ hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hbase-1.2.6/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/
HBase的bin目录和conf目录
张俊杰 的博客
11-29 805
HBase的目录 bin目录 在hbase命令的时候会先调用hbase-config.sh ,然后hbase-config.sh 调用hbase-env.sh 命令 hbase-daemon.sh 启动hbase进程 hbase-daemons.sh 群启动hbase进程 start-hbase.sh 一键启动所有HBase所有进程 stop-hbase.sh 一键停止所有HBase所有进程. conf目录 hbase-env.sh 配置环境变量的命令 hbase-site.xml 是hbase的参
hbase目录结构及元数据修复
MY BLOG
04-16 1341
最近知识星球有人问浪尖，自己的hbase集群元数据丢失了，但是数据还在，是否能够修复，其实这种情况下利用数据的hfile去修复元数据很常见，也有很多时候我们是生成hfile加载进hbase。 那么他又问了，假设数据也丢失了，或者数据存在大量坏块，是否能进行修复。首先要先修复坏块，一本有副本，假设不是所有数据副本一起损坏，通过清除坏块，修复副本，然后再逆向修复hbase的元数据也是可行的。但是如果清除坏块之后数据丢了，那也可以修复hbase元数据，只是丢了数据而已。 HBase中的元数据表中记录了Regi
HBase——安装配置与shell操作
Devin
04-24 3757
本节目标：1.掌握HBase的伪分布式和完全分布式的安装与配置2.通过HBase Shell了解HBase存储原理3、掌握常用hbase shell命令一、伪分布式下载与使用的Hadoop版本匹配的HBase本人采用Hadoop-2.7.6，HBase选择1.3.2版本，可到官网下载。1.解压安装hbash到指定目录2.修改环境变量：        export HBASE_HOME=/usr/l...
Hbase数据源在linux上单机搭建，windows实现远程操作
陌子曦的专栏
08-02 607
前提条件Hadoop环境已经搭建好 1.官网下载hbase：http://archive.apache.org/dist/hbase 2.解压hbase： tar -zxvf hbase-1.4.5-bin.tar.gz -C /temp/ 3.进入到hbase的conf目录下 ①vim hbase-env.sh 添加export JAVA_HOME=/usr/java/jdk1.8.0_11 ...
hbase-site.xml配置文件
q79969786的专栏
10-01 4992
/** * Copyright 2010 The Apache Software Foundation * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with
hbase的hbase-site.xml配置文件代码
fire_horse的博客
04-19 2088
hbase.rootdir         hdfs://192.168.10.129:9000/hbase                 hbase.cluster.distributed         true                 hbase.zookeeper.quorum         master,slaver1,slaver2
Hbase之Shell基本命令
阿达丶
09-19 469
HBase Shell 命令 基本命令 # 安装完后可以在浏览器中输入下面的URL来测试安装是否成功：http://localhost:60010# hbase目录输出日志文件所在位置：$HBASE_HOME/logs/# 进入hbase shell console$HBASE_HOME/bin/hbase shell# 如果有kerberos认证，需要事先使用相应的keytab进行一
android手机应用源码Imsdroid语音视频通话源码.rar
最新发布
05-20
android手机应用源码Imsdroid语音视频通话源码.rar
hbase java 建表_Java在HBase数据库创建表
06-01
好的，关于在HBase数据库中使用Java创建表的方法如下： 首先，需要导入HBase的Java API相关的包： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.TableDescriptor; import org.apache.hadoop.hbase.client.TableDescriptorBuilder; import org.apache.hadoop.hbase.io.compress.CompressionAlgorithm; import org.apache.hadoop.hbase.regionserver.BloomType; import org.apache.hadoop.hbase.util.Bytes; ``` 然后，通过以下代码建立与HBase数据库的连接： ```java Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); Connection connection = ConnectionFactory.createConnection(config); Admin admin = connection.getAdmin(); ``` 其中，"localhost"为HBase数据库所在的主机名。接下来，可以使用以下代码创建表： ```java String tableName = "myTable"; TableName name = TableName.valueOf(tableName); TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(name) .setColumnFamily(ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("cf")) .setCompressionType(CompressionAlgorithm.GZ) .setBloomFilterType(BloomType.ROWCOL) .build()) .build(); admin.createTable(tableDescriptor); ``` 这里创建了一个名为"myTable"的表，并设置了一个名为"cf"的列族，其中设置了压缩算法和Bloom过滤器类型。最后，使用admin.createTable()方法创建表。 需要注意的是，在使用完后需要关闭与HBase数据库的连接： ```java admin.close(); connection.close(); ``` 以上就是使用Java在HBase数据库中创建表的方法，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值