hadoop 学习(1) hbase安装运行

原创 2015年11月17日 17:17:56

1、首先现在hbase安装包,解压

tar -zxvf hbase-2.7.tar.gz

2、配置环境变量

export HBASE_HOME=/home/songjinbin/tools/hbase-1.0.0


3、添加hbase的配置

<configuration>
   <property>
    <name>hbase.rootdir</name>
    <value>/home/songjinbin/hadoop/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/songjinbin/hadoop/zookeeper</value>
  </property>
</configuration>

hbase.rootDIr 配置的是hbase写入的数据信息,默认是在/tmp下面,

注:本此配置的是单机模式,用的hbase自带的zookeeper


3、启动hbase

(1)启动hbase之前必须保证hadoop相关启动,先启动start_hdfs.sh start_yield.sh 

(2)执行

hbase shell


正常返回结果后我们就可以操作hbase命令了。

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/songjinbin/tools/hbase-1.0.0/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/songjinbin/tools/hadoop-2.7.1/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.0.0, r6c98bff7b719efdb16f71606f3b7d8229445eb81, Sat Feb 14 19:49:22 PST 2015


这样我们可以使用命令模式使用Hbase,该命令封装 了JAVA客户端的api的JRuby应用程序。



4、hbase基本命令行操作


(1)创建数据库

create 'users','info'

hbase是一种面向列的数据库,按照行和列进行组织,列组成列族,users指的是表名,info就是列族。

(2)查询数据库

list

TABLE                                                                           
test                                                                            
users                                                                           
2 row(s) in 0.0080 seconds

=> ["test", "users"]
hbase(main):003:0> 
describe 命令,可以查询表内更多默认参数

hbase(main):004:0> describe 'users'
Table users is ENABLED                                                          
users                                                                           
COLUMN FAMILIES DESCRIPTION                                                     
{NAME => 'info', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATIO
N_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL
 => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY =>
 'false', BLOCKCACHE => 'true'}                                                 
1 row(s) in 0.0880 seconds

5、使用java操作hbase

(1)添加maven依赖包

	<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.5.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.5.1</version>
        </dependency>
         <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
             <version>0.98.0-hadoop2</version> 
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.5.1</version>
        </dependency>
(2)连接操作

我们一般使用HBASE连接池创建连接,代码如下:

package com.hadoop.hbase;

import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.HTablePool;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

public class Test {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		HTablePool pool =new HTablePool();
		HTableInterface userTable =pool.getTable("users");
	}

}
(2)数据操作

 我们知道一般关系型数据库中都有主键的概念,同样,hbase数据库一般使用一个行健的概念特制一行数据的唯一标示,

hbase api通过put(放入)get(读)delete(删除)scan(扫描)increment(递增)几个接口操作数据库

首先创建一个行健

	Put p =new Put(Bytes.toBytes("testse"));

应为hbase只允许所有数据通过原始java字节类型数据传输,所以提供了一个公用类Bytes来处理

存入数据

		HTableInterface userTable =pool.getTable("users");
		Put p =new Put(Bytes.toBytes("testse"));
		p.add(Bytes.toBytes("info"), Bytes.toBytes("name"),Bytes.toBytes("jinbin"));
		p.add(Bytes.toBytes("info"), Bytes.toBytes("username"),Bytes.toBytes("jinbin"));
		p.add(Bytes.toBytes("info"), Bytes.toBytes("password"),Bytes.toBytes("12345"));
		userTable.put(p);
		userTable.close();



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】

1、下载相关软件,并解压 版本号如下: (1)apache-nutch-2.2.1 (2) hadoop-1.2.1 (3)hbase-0.92.1 (3)solr-4.9.0 并解压至/usr...

集成Nutch2.3.1/Hadoop2.5.2/Hbase1.1.5/Solr4.10.4构建搜索引擎:安装及运行

第一次写博客,之前从来没有写过博客因为不知道要写什么,这次写博客是因为自己在学习东西的时候遇见很多问题,国内的技术资料基本都是比较老的,要不就是nutch2.x集成hadoop1.x的,没有找到集成h...

Hadoop集群安装&Hbase实验环境搭建【1】

1.安装ubuntu10.04操作系统 安装并配置telnet 1)安装 #apt-get install xinetd telnetd 2). 安装成功后,系统也会有相应提示: sudo ...

Hadoop入门系列1—— 安装,配置,编程,部署和运行

Hadoop综述:将网格计算,并行计算和虚拟化等技术融为一体的云计算技术已经成为时下存储和处理海量数据的最佳选择之一。Hadoop的开源,高性能,高容错,跨平台等特点使其成为架构分布式云计算平台的首选...

hadoop+hbase+zookeeper 分布式集群搭建完美运行

备注:      搭建完(hadoop+hbase)整个集群是能够完美的运行,其中期间出过些小问题,如有一台机器和其他机器时间相差很远,结果是HRegionServer启动的时候超时,这个时候要...

hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行

之前有一篇文章已经很详细介绍了如何安装hadoop+hbase+zookeeper  文章标题为:hadoop+hbase+zookeeper 分布式集群搭建完美运行 其网址:http:/...

hadoop+hbase+zookeeper 分布式集群搭建完美运行

备注:      搭建完(hadoop+hbase)整个集群是能够完美的运行,其中期间出过些小问题,如有一台机器和其他机器时间相差很远,结果是HRegionServer启动的时候超时,这个时候要么时...

hadoop学习之Hbase安装

本地系统:Ubuntu 12.04 LTS 32位 本地hadoop版本:hadoop-1.2.1   Hbase版本:hbase-0.94.20 各机器对应关系: Namenode:192.1...

hadoop学习笔记之Hbase安装

环境hadoop2.7.3+zookeeper3.4.9+jdk1.8hbase可以独立部署,不过在此之前如果要部署分布式,需要先设置免密登录SSH安装1.从官网上下载HBase1.2.4并解压到用户...

Ubuntu16.04的Hadoop2.7.3安装HBase学习

分布式数据库HBase本文有参考厦门大学数据库,表示感谢。 http://dblab.xmu.edu.cn/blog/install-hbase/作者:秦景坤时间:2017-4-28HBase介绍HB...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)