在完成zookeeper集群的搭建、kafka集群的搭建、storm集群的搭建后,本篇我们讲解hbase伪分布式的搭建。
软件环境
- linux环境搭建
-关闭防火墙和SELinux
-配置主机名
-设置SSH免密码登录 - Hadoop环境搭建
-下载hadoop
-配置HDFS、YARN
-格式化
-启动并测试 - HBase环境搭建
关闭防火墙
chkconfig iptables off
关闭SELinux
vim /etc/sysconfig/selinux
SELINUX=disabled
service network restart
配置主机名
vim /etc/sysconfig/network
HOSTNAME=hbase
vim /etc/hosts
10.11.146.233 hbase01 hbase01
设置SSH免密码登录
ssh-keygen -t rsa
ssh-copy-id 10.11.146.233
通过ssh 10.11.146.233命令进行测试。
hadoop-2.6.0.tar.gz下载地址:hadoop-2.6.0.tar.gz
tar -zxvf hadoop-2.6.0.tar.gz解压tar包,cd hadoop/hadoop-2.6.0/etc/hadoop进入hadoop配置目录
配置hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_40
配置core-site.xml
vim core-site.xml
添加如下配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.11.146.233:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/data</value>
</property>
</configuration>
配置hdfs-site.xml
vim hdfs-site.xml
添加如下配置
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
vim mapred-site.xml
添加如下配置
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置yarn-site.xml
vim yarn-site.xml
添加如下配置
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
格式化hadoop:bin/hdfs namenode -format
启动hadoop:sbin/start-dfs.sh
启动yarn:sbin/start-yarn.sh
创建文件目录:bin/hadoop fs -mkdir -p /usr/root/mr/wc/in
上传文件:bin/hadoop fs -put /etc/profile /usr/root/mr/wc/in
在hadoop执行wordcount进程:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /usr/root/mr/wc/in/profile /usr/root/mr/wc/out
通过bin/hadoop fs -ls /usr/root/mr/wc/out
命令查看输出结果。
更多关于hadoop的操作,可以参考Hadoop API。
hbase-0.98.23-hadoop2-bin.tar.gz下载地址:hbase-0.98.23-hadoop2-bin.tar.gz
配置hbase-env.sh
vim hbase-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_40
配置hbase-site.xml
vim hbase-site.xml
添加如下配置内容
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://10.11.146.233/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hbase/zkData</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
配置regionservers
vim regionservers
10.11.146.233
启动zookpeeper命令:bin/hbase-daemon.sh start zookeeper
启动master命令:bin/hbase-daemon.sh start master
启动regionserver命令:bin/hbase-daemon.sh start regionserver
更多关于hbase的操作,可以参考hbase API。
启动成功后,在chrome输入http://10.11.146.233:60010/便可以访问HBase UI。