伪分布模式下HBase的基础运用
实验背景
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用
HBASE 技术可在廉价 PC
Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。
本文将介绍伪分布模式下HBase的安装方法、常见的shell命令、使用Mapreduce
将表导入HBase。\
实验目的
掌握HBase在Linux系统中的安装过程和常用操作。
实验环境
VirtualBox 6.1.14, Ubuntu 16.04,Hadoop 2.7.1,HBase1.1.5。
实验任务及完成过程
请在Linux命令行完成以下任务:
HBase安装与配置
(1)下载安装文件
在windows系统下从HBase官网下载专区下载文件hbase-1.1.5-bin.tar.gz,以Winscp作为中转站,建立起Winscp和Linux系统的连接,将hbase-1.1.5-bin.tar.gz上传至"/home/hadoop/
下载/"目录下。
(2)解压文件
下载HBase安装文件之后,需要对文件进行解压。使用hadoop用户登录Linux系统,打开一个终端,执行命令:\
sudo tar -zxf ~/下载/hbase-1.1.5-bin.tar.gz -C /usr/local
将解压的文件名hbase-1.1.5改为hbase,执行命令:\
sudo mv /usr/local/hbase-1.1.5 /usr/local/hbase
(3)配置环境变量
使用vim编辑器打开 /.bashrc文件,执行命令:\
vim ~/.hashrc
打开.bashrc文件之后,需要把HBase的bin目录/usr/local/hbase/bin追加到PATH中。编辑后的路径如下所示:\
export JAVA_HOME=/usr/lib/jvm/default-java
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hbase
添加路径之后执行 “source /.bashrc” 命令使得设置生效。
为了增加访问HBase目录的权限,需将HBase安装目录下所有文件的所有者改为hadoop,执行命令:\
cd /usr/local
sudo chown -R hadoop ./hbase
为了确认HBase安装成功,执行命令:\
/usr/local/hbase/bin/hbase version
如若出现以下结果,说明安装成功(如图4-1所示)
注释:如若安装失败,且出现"org.apache.hadoop.security.AccessControlException:Permission
denied:user" 异常报错,有可能是由于系统的用户名不同导致的,可使用hdfs
用户最高权限,执行以下命令:\
hadoop dfs -mkdir -p /user/root
hadoop dfs -chown root:hdfs /user/root
hadoop dfs -chown 777 /user/root
(4)伪分布式配置
用vim编辑器打开hbase-env.sh文件,在文件中配置,执行命令:\
vim /usr/local/hbase/conf/hbase-env.sh
修改后的hbase-env.sh应包含如下信息:\
export HBASE_CLASSPATH=/usr/local/hadoop/conf
export HBASE_MANAGES_ZK=true