前言
每一颗璀璨的钻石,都曾被泥土和杂草埋没过,但正是因为这些,它才显得弥足珍贵。——我自己。
本文不打算介绍HBase的任何资料,旨在通过简洁明了的叙述,在最短时间内搭建一个可以运行的伪分布式环境。
下载HBase
从Apache官网下载hbase-0.92.1,解压到linux用户目录中。并且设置权限
tar -zxvf /mnt/hgfs/PublicData/hbase-0.92.1.tar.gz -C~/hadoop-data
chmod -R 777 ~/hbase-0.92.1
配置HBase
-
修改~/.bashrc文件,添加( 可能需要去掉HIVE相关的部分):
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export HIVE_HOME=/home/hadoop/hive-0.6.0
export HBASE_HOME=/home/hadoop/hbase-0.92.1
export PATH=$HIVE_HOME/bin/:$HBASE_HOME/bin/:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/lib:$HBASE_HOME:$HBASE_HOME/lib:$CLASSPATH
- 复制$HADOOP_HOME下的hadoop-0.20.2-core.jar到$HBASE_HOME/lib下。并且删除(覆盖)原来的hadoop的版本。
-
修改$HBASE_HOME/conf/hbase-env.sh,添加如下内容:
# The java implementation to use. Java 1.6 required.
export JAVA_HOME=/usr/java/jdk1.7.0_51
# Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
上面的红色字体为你的HADOOP_HOME路径
-
在HDFS中创建HBase的数据存放目录:
hadoop fs –mkdir ~/hadoop-data/data/hbase
hadoop fs -chmod -R 777 ~/hadoop-data/data/hbase
-
修改(文件若不存在则自己添加)$HBASE_HOME/conf下的hbase-site.xml为如下内容:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hadoop:9000/home/hadoop/hadoop-data/data/hbase</value> <description>这里是HBase的数据文件存放地址,需要预先在hadoop中创建</description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop</value> <description>本机名</description> </property> </configuration>
启动HBase
启动HBase需要首先启动Hadoop,并且退出HDFS的安全模式。
$HADOOP_HOME/bin/start-all.sh
$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
$HBASE_HOME/bin/start-hbase.sh
启动成功后,进入HBase的Shell进行操作(这里是创建一张'test'表,用以测试HBase的安装成功与否):
$HBASE_HOME/bin/hbase shell
Create 'test','cf1','cf2'
如果看到了和我一样的结果,恭喜你,享受你的HBase之旅吧。
在Eclipse中运行HBase程序
- 复制$HBASE_HOME/lib中的所有jar到工程下(或者扩展添加方式)
- 复制$HBASE_HOME/confx/hbase-site.xml到src下。
-
如下代码:
package org.xiaom.hadoop.hbase; import java.io.IOException; /** * 从HBase的'test'中读取数据,处理后存放到'word_count'中。 * @authorhadoop * */ publicclass ReadHBaseAndWriteToHDFS implements Tool { private Configuration conf = new Configuration(); publicstaticclass Mapper extends TableMapper<ImmutableBytesWritable, Text>{ protectedvoid map(ImmutableBytesWritable key, org.apache.hadoop.hbase.client.Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable,org.apache.hadoop.hbase.client.Result,ImmutableBytesWritable,Text>.Context context) throws java.io.IOException ,InterruptedException { Iterator<byte[]> it=value.getMap().keySet().iterator(); System.out.println(key.toString()); while(it.hasNext()){ System.out.println("\t"+new String(it.next())+":"+value.getMap().get(it.next())); } }; } publicstaticclass SearchMapper extends TableMapper<ImmutableBytesWritable, Text> { protectedvoid map(ImmutableBytesWritable key, Result value, Context context) throws InterruptedException, IOException { System.out.println(value.toString()); } } @Override publicvoid setConf(Configuration conf) { this.conf = conf; } @Override public Configuration getConf() { returnthis.conf; } @Override publicint run(String[] args) throws Exception { conf.set(TableInputFormat.INPUT_TABLE, "student"); conf.set(TableOutputFormat.OUTPUT_TABLE, "test"); conf.set("hbase.zookeeper.quorum", "hadoop"); Job job=new Job(this.getConf()); job.setJobName("read-write-hbase"); job.setJarByClass(ReadHBaseAndWriteToHDFS.class); job.setInputFormatClass(TableInputFormat.class); job.setOutputFormatClass(TableOutputFormat.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(ImmutableBytesWritable.class); job.setOutputValueClass(ImmutableBytesWritable.class); job.setMapperClass(SearchMapper.class); // InitTestData.initData(conf); // return 0; return job.waitForCompletion(true)?1:0; } publicstaticvoid main(String[] args) throws Exception { System.exit(new ReadHBaseAndWriteToHDFS().run(args)); } }
- 直接尼玛run as java application
一些小提示
-
这是我的hosts文件,这个东西配置不恰当会导致 Eclipse的Hadoop插件无法连接HDFS
-
这是我的~/.bashrc文件,我把JDK、Hadoop、Hive、HBase的启动路径都添加到了PATH里面,这样以后就可以在终端中直接运行这些命令了。
- 遇到问题一定要看$HBASE_HOME/logs下的日志记录。