1.1 快速介绍
1.1.1 快速入门,单节点Hbase
本小节介绍单节点独立HBase的设置。 独立实例包含所有HBase守护进程 - Master,RegionServers和ZooKeeper 在单个JVM中运行,并保存到本地文件系统。 这是我们最基本的部署配置文件。下面会介绍如何使用hbase shell CLI(Client的简称)在HBase中创建表,向表中插入行,对表执行放置和扫描操作,启用osr禁用表以及启动和停止HBase。
除了下载HBase之外,这个过程应该不到10分钟。
在HBase 0.94.x之前,HBase预计环回IP地址为127.0.0.1。 Ubuntu和其他一些发行版默认为127.0.1.1,这会给你带来问题。 请参阅HBase为什么关心或需要/etc/hosts(https://web-beta.archive.org/web/20140104070155/http://blog.devving.com/why-does-hbase-care-about-etchosts)为细节
|
以下的/ etc / hosts文件对于HBase 0.94.x及更早版本在Ubuntu上正常工作。 如果遇到麻烦,请将其作为模板使用。在Linux-Centos中无影响。
127.0.0.1 localhost
127.0.0.1 ubuntu.ubuntu-domain ubuntu
这个问题已经在hbase-0.96.0及更高版本中得到修复。
1.1.2 JDK Version Requirements
Table. Java JDK With Hbase Requirements | ||
HBase Version | JDK 7 | JDK 8 |
2.0 | yes | |
1.3 | yes | yes |
1.2 | yes | yes |
1.1 | yes | Running with JDK 8 will work but is not well tested. |
Warning:HBase will neither build nor compile with Java 6
1.2 Hbase 入门
Procedure: Download, Configure, and Start HBase in Standalone Mode
1.从Apache下载镜像列表中选择一个下载站点(https://www.apache.org/dyn/closer.cgi/hbase/)。 点击建议的顶部链接。 这将带你到HBase发布的镜像。 单击名为stable的文件夹,然后将以.tar.gz结尾的二进制文件下载到本地文件系统。 现在不要下载以src.tar.gz结尾的文件。
Extract the downloaded file, and change to the newly-created directory.
$ tar xzvf hbase-3.0.0-SNAPSHOT-bin.tar.gz
$ cd hbase-3.0.0-SNAPSHOT/
2.在启动HBase之前,需要设置JAVA_HOME环境变量。 可以通过操作系统的常规机制来设置变量(将JDK加入系统环境变量),但HBase提供了一个中心机制conf/hbase-env.sh。 编辑此文件,取消注释以JAVA_HOME开头的行,并将其设置为适合您操作系统的位置。(可以指定特定位置JDK) 应将JAVA_HOME变量设置为包含可执行文件bin/java的目录。大多数现代Linux操作系统提供了一种机制,例如RHEL或CentOS上的/usr/bin/alternatives,用于在诸如Java之类的可执行文件的版本之间进行透明切换。 在这种情况下,可以将JAVA_HOME设置为包含通常为/usr的bin/java的符号链接的目录。
JAVA_HOME=/usr
3.编辑conf/hbase-site.xml,这是HBase的主要配置文件。 此时,只需要在HBase和ZooKeeper写入数据的本地文件系统上指定目录即可。 默认情况下,在下创建一个新的目录/tmp目录。许多服务器被配置为在重启时删除/tmp的内容,所以你应该在其他地方存储数据。以下配置会将HBase的数据存储在名为testuser的用户的主目录下的hbase目录中。将<property>标签粘贴到<configuration>标签下,在新的HBase安装中应该是空的。
Example 1. Example hbase-site.xml for Standalone HBase
我们不需要创建HBase数据目录。HBase会为你做这个。如果你创建了这个目录,HBase会试图做一个迁移,这不是你想要的。
|
上例中的hbase.rootdir指向本地文件系统中的一个目录。'file:/'前缀是我们如何表示本地文件系统。要在现有的HDFS实例上安装HBase,请将hbase.rootdir设置为指向您实例上的目录:例如,HDFS://namenode.example.org:8020/HBase的。有关此参数的更多信息,文档后续会专门续写有关HDFS上的独立HBase的部分。
4.提供bin/start-hbase.sh脚本作为启动HBase的便捷方式。发出命令,如果一切正常,则会将消息记录到标准输出,以显示HBase已成功启动。 您可以使用jps命令来验证是否有一个名为HMaster的正在运行的进程。 在独立模式下,HBase在单个JVM中运行所有守护进程,
即HMaster,单个HRegionServer和ZooKeeper守护程序。转到http://localhost:16010查看HBase Web UI。(此处使用Hbase自带的zookeeper,无需关心。)
Java需要安装并可用。 如果你得到一个错误,指出没有安装Java,但是
它在您的系统上,也许在非标准位置,编辑conf/hbase-env.sh文件并修改
JAVA_HOME设置指向您的系统上包含bin/java的目录
1.3 Hbase Shell
1.Connect to HBase.
使用位于HBase安装的bin/目录中的hbase-shell命令连接到正在运行的HBase实例。在本例中,省略了启动HBaseShell时打印的一些用法和版本信息。HBase-Shell提示符以>字符结尾。
$./bin/hbase shell hbase(main):001:0>
2. Display HBase Shell Help Text.
输入help并按回车,显示HBase Shell的一些基本用法信息,以及几个示例命令。请注意,表名,行,列都必须用引号字符括起来
3. Create a table.
使用create命令创建一个新表。 您必须指定表名称和ColumnFamily(列簇)名称
hbase(main):001:0> create 'test', 'cf'
0 row(s) in 0.4170 seconds
=> Hbase::Table - test
4. List Information About your Table Use the list command to
hbase(main):002:0> list 'test' TABLE
test
1 row(s) in 0.0180 seconds
=> ["test"]
5. Put data into your table.
To put data into your table, use the put command.
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds
hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds
hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds
在这里,我们插入三个值,一次一个。 第一个插入位于第一行,列cf:a,值为value1。 HBase中的列由一个列族前缀组成,在本例中是cf,后跟一个冒号,然后是列限定符后缀,在这种情况下.
6. Scan the table for all data at once.
从HBase获取数据的方法之一是扫描。 使用扫描命令扫描表中的数据。 你可以限制你的扫描,但现在,所有的数据都将被提取。
hbase(main):006:0> scan 'test'
ROW COLUMN+CELL
row1 column=cf:a, timestamp=1421762485768, value=value1
row2 column=cf:b, timestamp=1421762491785, value=value2
row3 column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds
7. Get a single row of data.
要一次获取单行数据,请使用get命令。
hbase(main):007:0> get 'test', 'row1'
COLUMN CELL
cf:a timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds
8. Disable a table.
如果要删除表或更改其设置以及其他一些情况,则需要先使用disable命令禁用表。 您可以使用enable命令重新启用它
hbase(main):008:0> disable 'test'
0 row(s) in 1.1820 seconds
hbase(main):009:0> enable 'test'
0 row(s) in 0.1770 seconds
Disable the table again if you tested the enable command above:
hbase(main):010:0> disable 'test'
0 row(s) in 1.1820 seconds
9. Drop the table.
要删除(删除)表,请使用drop命令.
hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds
10. Exit the HBase Shell.
要退出HBase Shell并从群集断开连接,请使用quit命令。 否则HBase Shell仍然在后台运行.
Procedure: Stop HBase
1. 和bin/start-hbase.sh脚本一样,为了方便启动所有的HBase守护进程,bin/stop-hbase.sh脚本停止它们。(这里主要讲解使用方法。启停等集群命令忽略)
$ ./bin/stop-hbase.sh
stopping hbase....................
$
2. .发出命令后,进程关闭可能需要几分钟的时间。 使用jps确保HMaster和HRegionServer进程已关闭.
1.4 伪分布式安装部署示例
在完成快速启动独立模式后,您可以重新配置HBase以伪分布模式运行。伪分布模式意味着HBase仍然在单个主机上完全运行,但每个HBase守护进程(HMaster,HRegionServer和ZooKeeper)都作为独立进程运行:在独立模式下,所有守护进程都在一个jvm进程/实例中运行。默认情况下,除非按照快速入门中所述配置hbase.rootdir属性,否则您的数据仍保存在中的/tmp/。在本演练中,我们将数据存储在HDFS中,假设您有HDFS可用。您可以跳过HDFS配置继续将数据存储在本地文件系统中。
Hadoop Configuration
此过程假定您已在本地系统和/或远程系统上配置Hadoop和HDFS,
和他们正在运行和可用。它还假定您正在使用Hadoop 2.关于在Hadoop中设置单节点群集的指南(https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html)文档是一个很好的起点。.
1.如果HBase正在运行,请停止。
如果您刚完成快速入门并且HBase仍在运行,请停止它。此过程将创建一个全新的目录,HBase将存储其数据,因此您之前创建的任何数据库都将丢失。
2.配置HBase。
编辑hbase-site.xml配置。首先,添加以下指示HBase以分布式运行的属性,每个守护进程一个JVM实例。
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
XML
接下来,使用hdfs:将hbase.rootdir从本地文件系统更改为HDFS实例的地址
URI语法。在这个例子中,HDFS在端口8020的本地主机上运行。
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
1.启动HBase。
使用bin / start-hbase.sh命令启动HBase。如果您的系统配置正确,则jps命令应显示HMaster和HRegionServer进程正在运行。
2.检查HDFS中的HBase目录。
如果一切正常,HBase在HDFS中创建它的目录。在上面的配置中,它存储在HDFS上的/ hbase /中。您可以在Hadoop的bin /目录中使用hadoop fs命令来列出该目录。
$ ./bin/hadoop fs -ls / hbase找到7项
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 / hbase / WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 / hbase / corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 / hbase / data
-rw -r - r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw -r - r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 / hbase / oldWALs
3.创建一个表并使用数据填充它。
您可以使用HBase Shell创建一个表,使用数据填充它,使用与shell演练中相同的过程扫描并从中获取值。
4.启动和停止备份HBase主(HMaster)服务器。
在同一硬件上运行多个HMaster实例在生产环境中没有意义,
与运行伪分布式群集的方式相同,对于生产而言没有意义。此步骤仅供测试和学习之用。
HMaster服务器控制HBase群集。您可以启动最多9台备份HMaster服务器,这使得10台HMaster计算主服务器。要启动备份HMaster,请使用local-master-backup.sh。对于要启动的每个备份主节点,请添加一个表示该主节点的端口偏移量的参数。每个HMaster使用三个端口(默认情况下为16010,16020和16030)。端口偏移量将添加到这些端口,因此使用偏移量2时,备份HMaster将使用端口16012,16022和16032.以下命令使用端口16012/16022/16032,16013 / 16023/1603启动3个备份服务器,和16015/16025/16035。
$ ./bin/local-master-backup.sh 2 3 5
要在不杀死整个集群的情况下杀死备份主节点,您需要查找其进程ID(PID)。 PID存储在名称类似于/tmp/hbase-USER-X-master.pid的文件中。该文件的唯一内容是PID。你可以使用kill
-9命令来杀死该PID。以下命令将终止具有端口偏移量1的主服务器,但保持群集正在运行:
$ cat /tmp/hbase-testuser-1-master.pid | xargs kill -9
您不需要在HDFS中创建目录。 HBase会为你做到这一点。如果您创建目录,HBase将尝试执行迁移,这不是您想要的。
1.启动和停止其他RegionServer
HRegionServer按照HMaster的指示管理StoreFiles中的数据。通常,一个HRegionServer在集群中的每个节点上运行。在同一个系统上运行多个HRegionServers对于伪分布式模式下的测试非常有用。 local-regionservers.sh命令允许您运行多个RegionServer。它的工作方式与local-master-backup.sh命令类似,您提供的每个参数都代表实例的端口偏移量。每个RegionServer需要两个端口,默认端口为16020和16030.但是,由于HMaster使用默认端口,因此额外的RegionServers的基本端口不是默认端口,因为HMaster自从HBase版本1.0.0以来也是RegionServer。基本端口是16200和16300。您可以在服务器上运行另外99个不是HMaster或备份HMaster的RegionServer。以下命令会启动另外四个RegionServers,它们在从16202/16302开始的顺序端口上运行(基本端口16200/16300加上2)。
$ .bin / local-regionservers.sh start 2 3 4 5
要手动停止RegionServer,请使用带有stop参数的local-regionservers.sh命令,并停止服务器的偏移量。
$ .bin / local-regionservers.sh停止3
2.停止HBase。
您可以使用bin / stop-hbase.sh命令以与快速启动过程相同的方式来停止HBase。
1.5 完全分布式安装部署示例
实际上,您需要一个完全分布式的配置来全面测试HBase并将其用于实际场景。 在分布式配置中,群集包含多个节点,每个节点运行一个或多个HBase守护进程。 这些包括主要和备份主实例(主Master和备份Master),多个ZooKeeper节点和多个RegionServer节点。
此高级快速入门将两个以上的节点添加到您的群集。 架构如下:
Node Name | Master | ZooKeeper | RegionServer |
node-a.example.com | yes | yes | no |
node-b.example.com | backup | yes | yes |
node-c.example.com | no | yes | yes |
这个快速入门假设每个节点都是虚拟机,并且它们都在同一个网络中。 它建立在以前的快速入门“伪分布式本地安装”上。
确保所有节点都具有完全的通信访问权限,并且没有适用的防火墙规则
过程:配置无密码SSH访问(示例并非正式生产环境部署模式与过程)
节点a需要能够登录到节点b和节点c(以及自己)以启动守护程序。完成此操作的最简单方法是在所有主机上使用相同的用户名,并配置从节点a到其他每个用户的无密码SSH登录。
1.在节点-a上,生成密钥对。
以使用HBase的用户身份登录时,使用以下命令生成SSH密钥对:
$ ssh-keygen -t rsa BASH
如果命令成功,密钥对的位置将打印到标准输出。公钥的默认名称是id_rsa.pub。
2.创建将保存其他节点上的共享密钥的目录。
在node-b和node-c上,以HBase用户身份登录并在用户主目录中创建一个.ssh /目录(如果尚不存在)。如果它已经存在,请注意它可能已经包含其他键。
3.将公钥复制到其他节点。
通过使用scp或其他安全手段,将公钥从节点a安全地复制到每个节点。在其他每个节点上,创建一个名为.ssh / authorized_keys的新文件(如果该文件尚不存在),并将id_rsa.pub文件的内容附加到该文件的末尾。请注意,您还需要为node-a本身执行此操作。
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
4.测试无密码登录。
如果您正确执行了此过程,则在从节点a到使用相同用户名的其他节点之间进行SSH连接时,不应提示您输入密码。
5.由于节点-b将运行备份主节点,请重复上述过程,将节点-b替换为节点-a的任何位置。 请确保不要覆盖现有的.ssh / authorized_keys文件,而是使用>>操作符而不是>运算符将新键连接到现有文件。
过程:准备节点-a
node-a将运行您的主要主服务器和ZooKeeper进程,但不会运行RegionServers。停止启动RegionServer
节点a。
1.编辑conf/regionservers并删除包含localhost的行。添加具有节点b和节点c的主机名或IP地址的行。
即使您确实想在node-a上运行RegionServer,也应该使用其他服务器用来与其通信的主机名来引用它。在这种情况下,这将是node-a.example.com。这使您可以将配置分发给群集中的每个节点,但不会造成任何主机名冲突。保存文件。
2.将HBase配置为使用节点b作为备份主节点。
在conf/called backup-masters中创建一个新文件,并用node-b的主机名添加一个新行。在这个演示中,主机名是node-b.example.com。
3.配置ZooKeeper
实际上,你应该仔细考虑你的ZooKeeper配置。您可以在zookeeper部分找到更多关于配置ZooKeeper的信息。此配置将指示HBase在群集的每个节点上启动和管理ZooKeeper实例。
在节点-a上,编辑conf/hbase-site.xml并添加以下属性。
<property>
<name>hbase.zookeeper.quorum</name>
<value>node-a.example.com,node-b.example.com,node-c.example.com</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/zookeeper</value>
</property>
4.在配置中的任何地方,您已将node-a称为localhost,请将引用更改为指向其他节点将用于引用节点a的主机名。在这些示例中,主机名是node- a.example.com。
过程:准备节点b和节点c
node-b将运行备份主服务器和ZooKeeper实例。
1.下载并解压HBase。
就像您为独立和伪分布式快速启动一样,将HBase下载并解压到节点b。
2.将配置文件从节点a复制到节点b和节点c。
集群中的每个节点都需要具有相同的配置信息。将conf /目录的内容复制到node-b和node-c上的conf /目录。
过程:启动并测试群集
1.确保HBase未在任何节点上运行。
如果您之前的测试忘记停止HBase,则会出现错误。使用jps命令检查HBase是否在任何节点上运行。查找进程HMaster,HRegionServer和HQuorumPeer(Hbase自带的zookeeper)。如果他们存在,杀死他们。
2.启动群集。
在节点-a上,发出start-hbase.sh命令。您的输出将与下面的输出类似。
$ bin/start-hbase.sh
node-c.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser- zookeeper-node-c.example.com.out
node-a.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser- zookeeper-node-a.example.com.out
node-b.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser- zookeeper-node-b.example.com.out
starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-node-a.example.com.out node-c.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser- regionserver-node-c.example.com.out
node-b.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser- regionserver-node-b.example.com.out
node-b.example.com: starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master- nodeb.example.com.out
ZooKeeper首先启动,然后是主控,然后是RegionServers,最后是备份主控。
3.确认进程正在运行。
在群集的每个节点上,运行jps命令并验证每台服务器上是否运行了正确的进程。 如果您的服务器上还有其他用途,您可能会看到其他Java进程在运行。
Example 2. node-a jps Output
Example 3. node-b jps Output
Example 4. node-c jps Output
ZooKeeper进程名称
HQuorumPeer进程是一个由HBase控制和启动的ZooKeeper实例。 如果你使用
ZooKeeper以这种方式,每个群集节点仅限于一个实例,并且仅适用于测试。
如果ZooKeeper在HBase之外运行,则该进程称为QuorumPeer。 有关ZooKeeper配置的更多信息,包括在HBase中使用外部ZooKeeper实例,请参阅zookeeper部分。
4.浏览到Web UI。
Web UI端口更改Web UI端口更改
在比0.98.x更加新的HBase版本中,HBase Web UI使用的HTTP端口从主服务器的60010和每个RegionServer的60030更改为主服务器的16010和RegionServer的16030。
如果所有设置都正确,则应该能够连接到主http:// node- a.example.com:16010/的UI或http://node-b.example.com上的辅助主设备: 16010 /使用网络浏览器。 如果可以通过本地主机连接,但不能从另一台主机连接,请检查防火墙规则。 您可以在端口16030的IP地址中查看每个RegionServers的Web UI,也可以单击主页的Web UI中的链接。
5.测试节点或服务消失时会发生什么。
使用您配置的三节点群集,事情不会很有弹性。 您仍然可以通过关闭进程并查看日志来测试主要主服务器或RegionServer的行为。