Hadoop,Hbase,Zookeeper在虚拟机单节点中的整合
前置说明:
版本:
JDK: 1.7
Hadoop: 0.20.2
Hbase: 0.92.1
Zookkeeper: 3.4.3
Linux:ubuntu
节点数: 1 (虚拟机)
安装配置:
安装JDK
下载jdk1.7.0.tar.gz
解压到usr目录下:tar –zxvf jdk1.7.0.tar.gz –C/usr
修改配置文件:添加如下
sudo vi /etc/profile
#set java environment
export JAVA_HOME=/usr/jdk1.6.0_35
export JRE_HOME=$JAVA_HOME/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
更改默认jdk
update-alternatives --install /usr/bin/javajava /usr/jdk1.7.0/bin/java 300
update-alternatives --install/usr/bin/javac javac /usr/jdk1.7.0/bin/javac 300
系统会列出各种JDK版本
sudo update-alternatives --config java
ssh安装
sudo apt-get install openssh-server
查看sshd服务是否启动: ps -e | grep sshd
设置shh不用密码登录:
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh localhost
配置host
修改配置/etc/hosts 如下:
127.0.0.1 ubuntu
此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。
安装Hadoop
http://blog.csdn.net/ysh3940/article/details/8037716
安装Zookeeper
http://blog.csdn.net/ysh3940/article/details/8041479
安装Hbase
http://blog.csdn.net/ysh3940/article/details/8039483
此教程为单机版的hbase
只需要修改一下地方,就可以整合 hadoop 、 zookeeper
配置 $HBASE_INSTALL/conf/hbase-env.sh :
export JAVA_HOME=/usr/jdk1.7.0
export HBASE_MANAGES_ZK=false <==默认为true,我们不使用hbase自带的zookeeper实例。
配置 hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name> (此属性和hadoop下的conf下的core-site.xml的fs.default.name属性相对应)
<value>hdfs://ubuntu:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value> (表示是否开始分布式)
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ubuntu</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
</configuration>
将 hbase/lib 下的 hadoop-core-0.20-2.jar 删除,替换为 hadoop/hadoop-0.20.2-core.jar
如果不替换,则在调用 start-hbase.sh 时 HMaster 无法启动。
这时我们再启动start-hbase.sh,就会成功啦!
[root@hadoopname conf]# start-hbase.sh
starting master, logging to/usr/local/hbase-0.90.4/logs/hbase-root-master-hadoopname.out
hadoopName: starting regionserver, loggingto /usr/local/hbase-0.90.4/logs/hbase-root-regionserver-hadoopname.out
[root@hadoopname conf]# jps
5004 HMaster
5101 HRegionServer
4208 SecondaryNameNode
5181 Jps
4587 QuorumPeerMain
4498 QuorumPeerMain
4273 JobTracker
4014 NameNode
4106 DataNode
4547 QuorumPeerMain
4424 TaskTracker
至此,hadoop、hbase、zookeeper在虚拟机下的整合就完毕了。
前置说明:
版本:
JDK: 1.7
Hadoop: 0.20.2
Hbase: 0.92.1
Zookkeeper: 3.4.3
Linux:ubuntu
节点数: 1 (虚拟机)
安装配置:
安装JDK
下载jdk1.7.0.tar.gz
解压到usr目录下:tar –zxvf jdk1.7.0.tar.gz –C/usr
修改配置文件:添加如下
sudo vi /etc/profile
#set java environment
export JAVA_HOME=/usr/jdk1.6.0_35
export JRE_HOME=$JAVA_HOME/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
更改默认jdk
update-alternatives --install /usr/bin/javajava /usr/jdk1.7.0/bin/java 300
update-alternatives --install/usr/bin/javac javac /usr/jdk1.7.0/bin/javac 300
系统会列出各种JDK版本
sudo update-alternatives --config java
ssh安装
sudo apt-get install openssh-server
查看sshd服务是否启动: ps -e | grep sshd
设置shh不用密码登录:
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh localhost
配置host
修改配置/etc/hosts 如下:
127.0.0.1 ubuntu
此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。
安装Hadoop
http://blog.csdn.net/ysh3940/article/details/8037716
安装Zookeeper
http://blog.csdn.net/ysh3940/article/details/8041479
安装Hbase
http://blog.csdn.net/ysh3940/article/details/8039483
此教程为单机版的hbase
只需要修改一下地方,就可以整合 hadoop 、 zookeeper
配置 $HBASE_INSTALL/conf/hbase-env.sh :
export JAVA_HOME=/usr/jdk1.7.0
export HBASE_MANAGES_ZK=false <==默认为true,我们不使用hbase自带的zookeeper实例。
配置 hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name> (此属性和hadoop下的conf下的core-site.xml的fs.default.name属性相对应)
<value>hdfs://ubuntu:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value> (表示是否开始分布式)
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ubuntu</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
</configuration>
将 hbase/lib 下的 hadoop-core-0.20-2.jar 删除,替换为 hadoop/hadoop-0.20.2-core.jar
如果不替换,则在调用 start-hbase.sh 时 HMaster 无法启动。
这时我们再启动start-hbase.sh,就会成功啦!
[root@hadoopname conf]# start-hbase.sh
starting master, logging to/usr/local/hbase-0.90.4/logs/hbase-root-master-hadoopname.out
hadoopName: starting regionserver, loggingto /usr/local/hbase-0.90.4/logs/hbase-root-regionserver-hadoopname.out
[root@hadoopname conf]# jps
5004 HMaster
5101 HRegionServer
4208 SecondaryNameNode
5181 Jps
4587 QuorumPeerMain
4498 QuorumPeerMain
4273 JobTracker
4014 NameNode
4106 DataNode
4547 QuorumPeerMain
4424 TaskTracker
至此,hadoop、hbase、zookeeper在虚拟机下的整合就完毕了。