在amazon EC2上搭建hadoop搭建hbase

一、amazon ec2 环境

申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。
1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。
3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。

二、编译打包hadoop-2.4.0和hbase-0.98.1

因为apache发布的hadoop里面的native的library是32位的，所以就自己编译了，编译过程遇到很多问题，google解决了，下面就不贴出错误信息，直接写正确的步骤。
因为缺少java环境，所以下载安装了jdk-7u51的包 jdk-7u51-linux-x64.tar.gz，自己写一段脚本debian_set_java.sh 来安装：
#!/bin/bash

if [ `whoami` != "root" ]; then
echo "Use root to set java environment."
exit 1
fi
if [ `uname` == 'Darwin' ]; then
echo "Darwin system."
exit 1
fi

function unpack_java()
{
mkdir /usr/local/java
tar -pzxf $1 -C /usr/local/java/
if [ `echo $?` != 0 ]; then
echo "untar file failed."
exit 1
fi
echo "unpack $1 done"
}

function set_j8_env()
{
cp -p /etc/profile /tmp/profile.bak_`date "+%Y%m%d%H%M%S"`
sed -i '$a \\nJAVA_HOME=/usr/local/java/jdk1.8.0\nPATH=$PATH:$JAVA_HOME/bin\nexport JAVA_HOME\nexport PATH'/etc/profile
source /etc/profile
update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.8.0/bin/javac  95
update-alternatives --install /usr/bin/java  java  /usr/local/java/jdk1.8.0/bin/java  95
update-alternatives --config java
echo "set java 8 environment done"
}

function set_j7_env()
{
cp -p /etc/profile /tmp/profile.bak_`date "+%Y%m%d%H%M%S"`
sed -i '$a \\nJAVA_HOME=/usr/local/java/jdk1.7.0_51\nPATH=$PATH:$JAVA_HOME/bin\nexport JAVA_HOME\nexport PATH'/etc/profile
source /etc/profile
update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.7.0_51/bin/javac  95
update-alternatives --install /usr/bin/java  java  /usr/local/java/jdk1.7.0_51/bin/java  95
update-alternatives --config java
echo "set java 7 environment done"
}

unpack_java $1
set_j7_env

bash debian_set_java.sh jdk-7u51-linux-x64.tar.gz
安装好java7环境，我们正式开始编译打包。

1.Hadoop Compile
apt-get install protobuf-compiler
$ protoc
version == 2.4.1
因为需要protobuf版本>2.5.0，所以从官网下载并编译安装，编译先装编译