Ubuntu16.04的Hadoop2.7.3安装HBase学习

最新推荐文章于 2024-08-04 03:19:19 发布
最新推荐文章于 2024-08-04 03:19:19 发布
阅读量5.7k 收藏 11
点赞数 1
分类专栏： hadoop 文章标签： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qjk19940101/article/details/71098848
版权

分布式数据库HBase

本文有参考厦门大学数据库，表示感谢。 http://dblab.xmu.edu.cn/blog/install-hbase/

作者：秦景坤

时间：2017-4-28

HBase介绍

HBase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列族(column family)。
欲了解HBase的官方咨询，请访问HBase官方文档http://hbase.apache.org/

HBase的运行有三种模式：单机模式、伪分布模式、分布式模式。

单机模式: 在一台计算机上安装和使用HBase，不涉及数据的分布式存储
伪分布式模式： 在一台计算机上模拟一个小的集群
分布式模式： 使用多台计算机实现物理意义上的分布式存储。

环境

  • 操作系统： Ubuntu16.04
  • hadoop: 2.7.3
  • HBase: 1.2.5

HBase下载地址 : http://archive.apache.org/dist/hbase/stable/

安装并配置HBase

HBase安装

1.解压安装包hbase-1.2.5-bin.tar.gz到路径/usr/local，命令如下:

sudo tar -zxf ~/Downloads/hbase-1.2.5-bin.tar.gz -C /usr/local

2.将解压的文件名hbase-1.2.5改为hbase，以方便使用，命令如下: 

cd /usr/local
sudo mv hbase-1.2.5 hbase

3.配置环境变量
将hbase下的bin目录添加到path中，这样启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。

编辑完成后，再执行source命令使上述配置在当前终端立即生效，命令如下

source /etc/profile

4.添加HBase权限 

cd /usr/local
sudo chown -R hadoop ./hbase #将hbase下的所有文件的所有者改为hadoop，hadoop是当前用户的用户名

5.查看HBase版本，确定hbase安装成功，命令如下: 

hbase version 
或者
/usr/local/hbase/bin/hbase version

执行命令后，输出信息如下：

看到以上输出信息表示HBase已经安装成功。

HBase配置

HBase有三种运行模式，单机模式，伪分布式模式，分布式模式。

确保 jdk,hadoop,SSH已经安装。

单机模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh
* 配置JAVA环境变量
* 添加配置HBASE_MANAGES_ZK为true
用vi命令打开并编辑hbase-env.sh

配置JAVA环境变量，jdk的安装目录默认是 /usr/local/java/jdk1.8.0_131(请自行修改个人的安装目录）
配置HBASE_MANAGES_ZK为true,表示hbase自己管理zookeeper，不需要单独的zookeeper。

hbase-env.sh中本来就存在这些变量的配置，大家只要删除前面的#并修改配置内容即可。

2.配置/usr/local/hbase/conf/hbase-site.xml 

vi /usr/local/hbase/conf/hbase-site.xml

在启动HBase前需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-${user.name}；这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即（/usr/local/hbase/hbase-tmp),添加配置如下: 

<configuration>
    <property>
            <name>hbase.rootdir</name>
            <value>/usr/local/hbase/hbase-tmp</value>
    </property>
</configuration>

3.接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase；再启动HBase。

cd /usr/local/hbase
bin/start-hbase.sh
bin/hbase shell

上述三条命名中，bin/start-hbase.sh用于启动HBase，bin/hbase shell用于打开shell命令行模式，用户可以通过输入shell命令操作HBase数据库

成功启动HBase，截图如下:

停止HBase运行，命令如下

bin/stop-hbase.sh

注意：在单机和伪分布的切换的时候需要把hadoop的单机和伪分布的配置文件一并修改。

伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh

vi /usr/local/hbase/conf/hbase-env.sh

配置：
* JAVA_HOME
* HBASE_CLASSPATH
* HBASE_MANAGES_ZK

HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录（即/usr/local/hadoop/conf）

2.配置/usr/local/hbase/conf/hbase-site.xml 

vi /usr/local/hbase/conf/hbase-site.xml

修改hbase.rootdir，指定HBase数据在HDFS上存储路径；将属性hbase.cluster.distributed设置为true。假设当前Hadoop集群运行在伪分布模式下，在本机上运行，且NameNode运行在9000端口。 

<configuration>
    <property>
            <name>hbase.rootdir</name>
            <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
            <name>hbase.cluster.distributed</name>
            <value>true</name>
    </property>
</configuration>

3.接下来测试运行HBase
（1）首先登陆ssh，之前设置了无密码登录，因此这里不需要密码，在切换目录至/usr/local/hadoop，再启动hadoop。
（如果已经启动hadoop请跳过）

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

输入命令jps，能看到NameNode，DataNode和SecondaryNode都已经成功启动，表示hadoop启动成功。

(2)切换到/usr/local/hbase，再启动HBase命令如下 

cd /usr/local/hbase
bin/start-hbase.sh

启动成功，输入命令jps,可以看到hbase启动成功。

进入shell界面：

bin/hbase shell

4.停止HBase运行，命令如下

bin/stop-hbase.sh

注意
这里启动关闭Hadoop和HBase的顺序一定是:

启动Hadoop -> 启动HBase -> 关闭HBase -> 关闭Hadoop

编程实践

利用Shell命令

HBase中创建表

HBase中用create命令创建表，具体如下:

create 'student','Sname','Ssex','Sage','Sdept','course'

命令截图：

此时创建了一个”student”表，属性有:Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行健，无需自行创建，默认为put命令操作中表名后第一个数据。创建完”student”表后，可通过describe命令查看”student”表的基本信息

HBase数据库基本操作

下面主要介绍HBase的增，删，改，查操作。在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会生成一个新的版本，从而完成”改”操作，旧的版本依旧保留，系统会定时回收垃圾数据，只留下最新的几个版本，保存的版本数可以在创建表的时候指定。

  • 添加数据
    HBase中用put命令添加数据，注意:一次只能为一个表的一行数据的一个列，也就是一个单元格添加一个数据，所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。

运行命令添加一行数据：

put 'student','95001','Sname','Roc-J'

命令执行表示 在student表添加了学号为95001，名字为LiYing的一行数据，其行健为95001

put 'student','95001','course:math','80'

命令执行：

即在95001行下的course列族的math列添加了一个数据。

  • 删除数据

在HBase中用delete以及deleteall 命令进行删除数据操作，区别是
* delete用于删除一个数据，是put的反向操作
* deleteall操作用于删除一行数据

1.delete命令 

delete 'student','95001','Ssex'

2.deleteall命令

deleteall 'student','95001'

  • 查看数据
    HBase中有两个用于查看数据的命令:
  • get 命令，用于查看表的某一个单元格数据
  • scan命令用于查看某个表的全部数据

1、get命令 

get 'student','9999'

2.scan命令

scan 'student'

命令执行得到的是’student’表的全部数据

  • 删除表

删除表有两步，第一步先让该表不可用，第二步删除表

disable 'student'
drop 'student'

查询表历史数据

查询表的历史版本，需要两步：
1.在创建表的时候，指定保存的版本数（假设指定为5）

create 'employee',{NAME=>'username',VERSION=>5}

2.插入数据然后更新数据，使其产生历史版本数据

注意，这里插入数据和更新数据都是用put命令 

put 'employee','88888','username','Roc-J'
put 'employee','88888','username','Roc-J1'
put 'employee','88888','username','Roc-J2'
put 'employee','88888','username','Roc-J3'
put 'employee','88888','username','Roc-J4'
put 'employee','88888','username','Roc-J5'

3.查询时，指定查询的历史版本数。默认会查询出最新的数据。（有效值为1到5） 

get 'employee'.'88888',{COLUMN=>'username',VERSIONS=>5}

退出HBase数据库表操作

最后退出数据库操作，输入exit命令即可退出。

注意，这里退出HBase数据库是退出对数据库表的操作，而不是停止启动HBase数据库后台运行。

exit

Java API编程实例

本实例使用Eclipse编写java程序，来对HBase数据库进行增删改查等操作。

1.启动hadoop,启动HBase

cd /usr/local/hadoop
./sbin/start-dfs.sh
cd /usr/local/hbase
./bin/start-hbase.sh

2.新建java project-HBase_Demo
新建class-HBase_Example

3.在工程中导入外部jar包。

程序代码如下：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;


public class HBase_Example {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;

    //主函数中的语句请逐句执行
    public static void main(String[] args) throws IOException {
        //
        createTable("Score",new String[]{"sname","course"});

    }

    //建立链接
    public static void init(){
        configuration = HBaseConfiguration.create();
        configuration.set("hbase.rootdir", "hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        } catch(IOException e) {
            e.printStackTrace();
        }
    }

    //关闭链接
    public static void close(){
        try {
            if(admin!= null) {
                admin.close();
            }
            if(null != connection) {
                connection.close();
            }
        }catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 建表，HBase的表中有一个系统默认的属性作为主键，主键无需自行创建，默认为put命令操作中表名后的第一个数据，因此此处无需创建id列
     * @param myTableName
     * @param colFamily
     * @throws IOException
     */
    public static void createTable(String myTableName,String[] colFamily) throws IOException {
        init();
        TableName tableName = TableName.valueOf(myTableName);
        if(admin.tableExists(tableName)){
            System.out.println("table is exists!");
        }else{
            HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
            for(String str:colFamily){
                HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);
                hTableDescriptor.addFamily(hColumnDescriptor);
            }
            admin.createTable(hTableDescriptor);
            System.out.println("create table success");
        }
        close();
    }

    public static void deleteTable(String tableName) throws IOException {
        init();
        TableName tn = TableName.valueOf(tableName);
        if(admin.tableExists(tn)){
            admin.disableTable(tn);
            admin.deleteTable(tn);
        }
        close();
    }

    /**
     * 查看已有表
     * @throws IOException
     */
    public static void listTables() throws IOException {
        init();
        HTableDescriptor hTableDescriptors[] = admin.listTables();
        for(HTableDescriptor hTableDescriptor: hTableDescriptors){
            System.out.println(hTableDescriptor.getNameAsString());
        }
        close();
    }

    /**
     * 向某一行的某一列插入数据
     * @param tableName 表名
     * @param rowkey 行健
     * @param colFamily 列族名
     * @param col 列名
     * @param val 值
     * @throws IOException
     */
    public static void insertRow(String tableName,String rowkey,String colFamily,String col,String val) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowkey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        table.put(put);
        table.close();
        close();
    }

    /**
     * 删除数据
     * @param tableName 表名
     * @param rowkey 行键
     * @param colFamily 列族名
     * @param col
     * @throws IOException
     */
    public static void deleteRow(String tableName,String rowkey,String colFamily,String col) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Delete delete = new Delete(rowkey.getBytes());
        //删除制定列族的所有数据
        //delete.addFamily(colFamily.getBytes());
        //删除指定列的数据
        //delete.addColumn(colFamily.getBytes(), col.getBytes());

        table.delete(delete);
        table.close();
        close();
    }

    /**
     * 根据行健rowkey查找数据
     * @param tableName
     * @param rowkey
     * @param colFamily
     * @param col
     * @throws IOException
     */
    public static void getData(String tableName,String rowkey,String colFamily,String col) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        Get get = new Get(rowkey.getBytes());
        get.addColumn(colFamily.getBytes(), col.getBytes());
        Result result = table.get(get);
        showCell(result);
        table.close();
        close();
    }

    /**
     * 格式化输出
     * @param result
     */
    public static void showCell(Result result) {
        Cell[] cells = result.rawCells();
        for(Cell cell:cells){
            System.out.println("RowName: "+ new String(CellUtil.cloneRow(cell))+"");
            System.out.println("Timetamp: " + cell.getTimestamp()+" ");
            System.out.println("column Family: "+new String(CellUtil.cloneFamily(cell))+"  ");
            System.out.println("row Name:" + new String(CellUtil.cloneQualifier(cell))+" ");
            System.out.println("value:" + new String(CellUtil.cloneValue(cell))+" ");

        }
    }


}

主函数中逐句执行，首先执行了一句创建表：

控制台输出：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.security.Groups).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
create table success

可以看到成功创建表

public static void main(String[] args) throws IOException {
        //创建一个表，表名为Score，列族为sname,course
        //createTable("Score",new String[]{"sname","course"});

        //在Score表中插入一条数据，其行健为89899,sname为Rock
        //等价于命令：put 'Score','89899','sname','Rock'
        //insertRow("Score","89899","sname","","Rock");

        //在Score表中插入一条数据，其行健为89899，course:Math为88（course为列族，Math为course下的子列）
        //等价于命令：put 'Score','89899','socre:Math','88'
        insertRow("Score","89899","course","math","88");
    }

主函数中可以进行语句的修改后：

秦景坤
关注
专栏目录
傻瓜式 Hadoop + Hbase 分布式安装教程
Kaptcha的学习
04-28 434
本教程不涉及任何原理性内容，可以作为使用手册，跟着走一遍即可顺利配好 Hadoop 分布式环境支持虚拟机，双系统，云服务器的配置 前提要求（请务必确认，不要直接跳到操作部分） 使用虚拟机务必保证开启桥接模式，并处于同一网段（同一局域网（校园网）或 WiFi 热点下），不要使用NAT等其他模式联网。 虚拟机的桥接模式相当于模拟路由器，所以双系统是不能直接与虚拟机连接的（相当于缺少路由器），同 ...
Ubuntu 安装HBase
大T的专栏
12-07 6074
下载：http://mirror.bit.edu.cn/apache/hbase/stable/ 官方指南：http://abloz.com/hbase/book.html 解压： tar -xzvf hbase-0.96.0-hadoop1-bin.tar.gz 进入$hbase/lib下查看相关的hadoop包，看是哪个版本的hadoop。 此处只记录伪分布式Hbas
Ubuntu安装Hbase数据库
weixin_56814370的博客
06-13 2863
安装Hbase数据库
ubuntu上安装HBase伪分布式-2024年08月04日
最新发布
i_for的博客
08-04 818
HBase是一个开源的非关系型数据库，它基于Google的Bigtable设计，用于支持对大型数据集的实时读写访问。HBase有以下几个特点：高可靠性、高性能、面向列的存储以及可伸缩性。1.要想安装HBase首先你的ubuntu上得安装了Java环境，安装了 Hadoop并且已经配置好了伪分布式模式。2.安装HBase前先查询你安装的hadoop的版本，然后再去查一下和它匹配的HBase的版本。
Hadoop2.7.3 + HBase1.2.3 + ZooKeeper3.4.9 整合
【昆山人在上海】
10-27 3165
首先需要部署好Hadoop2.7.3环境，可参考：http://blog.csdn.net/kunshan_shenbin/article/details/52933499 1. 下载hbase1.2.3版本并解压，配置hbase环境变量如下： export HBASE_HOME=/Users/bin.shen/BigData/hbase-1.2.3 export PATH=$HBASE
Centos7 Hadoop 2.7.3 + Hive + HBase + Kerberos 集群环境搭建
sunny05296的博客
08-29 660
Hadoop集群中不同主机扮演不同的角色，主要分下面几种： Master NameNode NameNode用于管理文件系统HDFS ，维护文件系统树结构和文件元数据。当有新文件要写入系统时客户端会先向NameNode查询当前文件系统的状态，然后得知自己可以往哪里写入，最后实际写入文件系统，这中间NameNode就是管理主要信息的核心设备。 ResourceManager ResourceManager用于管理和分配工作，它是所有工作的总调度程序。 Slave ...
hadoop 2.7.3 源码分析（一）：环境搭建
iblks
11-26 2953
序回头想想自己学习大数据相关的技术已经有很长的时间了，在这段时间里主要学习了hadoop、zookeeper、hbase、kafka、flume、spark、storm等等，有一些在工作当中使用到了(比如zookeeper、hadoop）就比较熟悉但大部分都是浅尝辄止没有做深入的研究学习。 hadoop作为时下流行的大数据处理框架，其使用范围广，开发社区活跃。在国内很多大型公司如京东、百度、阿里等
Hadoop2.7.3及常用组件安装和配置
Lasting_Ever的博客
02-10 1889
最近在学Hadoop，从最开始的安装配置，到简单的小程序，再到项目实战，都非常的有趣。最开始也是在网上找了很多教程来入门，但是因为有的教程是比较早期的Hadoop1.x甚至Hadoop0.x的，有些配置在现在流行的Hadoop2中可能会出问题，自己也被这些版本差异搞的很头疼，不过好在网上还是能找到些资料的，也成功的配起了Hadoop以及常用的组件，在这里也做个总结，避免以后重装了系统又搞忘了当初是
hadoop-2.7.3搭建过程中遇到的问题及解决方案
wgd852372的博客
01-03 1605
20190507更新 问题：将hadoop-eclipse-plugin-2.X.X.jar拷贝到eclipse/plugins，重启eclipse后，在windows-preference下找不到Hadoop MapReduce选项 解决方案：将eclipse/configuration下的org.eclipse.update文件夹删除，该文件夹记录eclipse插件信息，默认设置中并不是每...
Hadoop伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 1581
以ubuntu环境为基础，练习Hadoop伪分布部署，部署成功后对信息进行整理并填写工作任务报告。学会hadoop伪分布式配置，理解伪分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3Hadoop伪分布式配置是在没有多台计算机节点的情况下，对hadoop的分布式存储和计算进行模拟安装和配置。通过在一台计算机节点上解压hadoop安装压缩包后，然后进行hadoop相关文件进行配置，让Hadoop的核心进程都运行在同一台机器上并实现对数据存储和计算的
Ubuntu16.04下Hbase集群模式的本地安装与配置.docx
04-27
基于Ubuntu安装Hbase环境。亲测编写，步骤清晰明了，很适合大数据学习爱好者搭建Hbase环境。包括：系统环境，安装步骤（配置文件，hadoop软链接，时钟同步），服务启停等。
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)（2015）
12-01
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)
Ubuntu下Hbase安装（一、相应的版本Hbase下载）
海之心殇的博客
10-24 1166
Ubuntu下Hbase安装（一、相应的版本Hbase下载）# 系列文章目录一、下载链接二、版本查询三、复制到虚拟机或拖到虚拟机中 # 系列文章目录 Ubuntu下Hbase安装（一、相应的版本Hbase下载） Ubuntu下Hbase安装（二、Hbase单机模式安装） Ubuntu下Hbase安装（三、Hbase伪分布式安装） 一、下载链接 这有Hbase-2.1.1和Hbase-2.3.2两个版本的，根据（二、版本查询）中自行下载 下载链接： 二、版本查询 Hbase如果只是安装单机版的
Ubuntu系统中分布式安装配置HBase-2.3.7
runepic的博客
06-09 1980
HBase是一个基于Hadoop的分布式列式数据库，可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群，并进行简单的数据操作。
Ubuntu HBase安装
tjufan的博客
03-20 206
Ubuntu 18.04 LTS HBase安装 Ubuntu 18.04 LTS HBase HBase 安装 下载需要的安装包。镜像 解压安装包sudo tar -zxvf ~/hbase-xxx.tar.gz -C /usr/local sudo mv /usr/local/hbase-xxx /usr/local/hbase 配置环境变量sudo vim ~/.bashrc # ...
Ubuntu下HBase安装
guangyacyb的博客
07-21 199
https://blog.csdn.net/flyfish111222/article/details/51893096 https://blog.csdn.net/weixin_40782143/article/details/87936380 https://blog.csdn.net/june_xixi/article/details/88880981
ubuntu14.04安装hbase1.0.2
Chunhong Song的专栏
12-19 1059
ubuntu14.04伪分布式安装Hbase： jar包下载地址：http://mirrors.hust.edu.cn/apache/hbase/  1.将Hbase的jar包解压到/usr/local/文件夹下： sudo  tar -zxvf hbase-1.0.2-bin.tar.gz 2.修改Hbase文件夹的权限和所有者： 3.配置Hbase文件。
Ubuntu的HBase2.2.2安装
weixin_54503172的博客
11-09 1157
在官网下载对应版本的HBaseIndex of /dist/hbase完成下载后解压安装包到路径usr/local 为了便于后续操作将解压后的文件改名为hbase 接下来对hbase进行赋权 完成后进行hbase的环境的配置为了便与对hbase的使用，将hbase的bin目录加到path下，于是对.bashrc文件进行编辑 在export PATH中追加/usr/local/hbase/bin！！！“：”是与前面内容的分隔符如图 若没有export PATH则输入 完成编辑后使用命令让配
Ubuntu16.04安装JDK1.8、Hadoop2.7.3和Hbase1.2.6详细步骤
"本指南详细介绍了如何在Ubuntu 14.06上安装JDK 1.8、Hadoop 2.7.3和HBase 1.2.6的步骤。首先，确保已经安装了Ubuntu操作系统，并准备好相应的安装包。然后，通过SSH配置实现无密码登录，使用Winscp进行文件传输，将...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值