hbase系列（二）：集群应用（基于hdfs）

  创建rsa无密码登录：

ssh-keygen -t rsa

cat .ssh/id_rsa.pub .ssh/authorized_keys

 

先配置hdfs：

1、下载hadoop-0.20.2.tar.gz，解压;

2、修改conf/hadoop-env.sh，配置java_home;

3、配置hdfs访问路径，core-site.xml：

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>

  

4、配置namenode复本数，hdfs-site.xml：

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>

  

5、配置namenode元数据与操作日志路径，hdfs-site.xml：

  <property>
     <name>dfs.name.dir</name>
     <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

   <property>
      <name>dfs.name.edits.dir</name>
      <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

  

6、配置map/reduce，mapred-site.xml：

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
 </property>
</configuration>

 

7、对namenode路径，进行格式化：

bin/hadoop namenode -format

 

可以看到配置的路径被格式化后，系统建了两个目录current与image。

 

7、启动hdfs：

bin/start-all.sh

ps -ef|grep  hdfs

会看到启动了3个java进程，1个namenode，1个datanode，1个备用namenode：

org.apache.hadoop.hdfs.server.namenode.NameNode

org.apache.hadoop.hdfs.server.datanode.DataNode

org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

 

再配置hbase：

1、配置hbase访问的hdfs路径、集群属性、zookeeper节点，hbase-site.xml

<property>
      <name>hbase.rootdir</name>
      <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
</property>
<property>
      <name>hbase.zookeeper.quorum</name>
      <value>localhost</value>
</property>

  

2、启动hbase：

bin/start-hbase.sh

ps -ef|grep hbase

可以看到又启动了3个java进程，分别是RegionServer、Zookeeper、Master：

org.apache.hadoop.hbase.regionserver.HRegionServer start

org.apache.hadoop.hbase.zookeeper.HQuorumPeer start

org.apache.hadoop.hbase.master.HMaster start

 

至此，基于hdfs上的hbase配置已经完成。