Hadoop与hbase单机环境安装详细教程

一、Linux系统设置

1，关闭防火墙,方便外部访问：
CentOS 7版本以下输入:

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

2，时间设置：查看服务器时间是否一致

date

若不一致则更改，更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

二、jdk安装并搭建环境

1、卸载系统自带jdk以及相关的java文件

rpm -qa | grep java

2、删除结果中不是以noarch结尾的列表（注意，以noarch结尾的不要删）

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64

3、到官网http://www.oracle.com/technetwork/java/javase/archive-139210.html下载jdk,不过oracle要求注册账号，嫌麻烦的话也可以从其它网站下载，并将压缩文件放至/usr/local/src/目录下（当然也可以是其它目录）。

4、解压jdk安装包:

tar -zxvf jdk-8u144-linux-x64.tar.gz

5、删除jdk压缩包：

rm -f jdk-8u144-linux-x64.tar.gz

6、配置环境变量:修改配置文件/etc/profile,删除原来的jdk配置，改为以下：

export JAVA_HOME=/home/java/jdk1.8

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib

export PATH=.:${JAVA_HOME}/bin:$PATH

7、命令行输入 source  /etc/profile，使变更生效：

source  /etc/profile

8、验证一下jdk是否改到自己的版本：

#查看java版本
java -version
#查看JAVA_HOME
echo $JAVA_HOME
#查看引用jdk的应用
echo $PATH

三、Hadoop安装并搭建环境

1、下载hadoop安装包并上传到linux服务器的 /usr/local路径下，解压安装包：

tar -xvf hadoop-2.7.2.tar.gz

2、Hadoop 环境变量配置，修改etc/profile,添加以下：

export HADOOP_HOME=/home/hadoop/hadoop2.7

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

3、命令行输入source  /etc/profile，使变更生效：

source  /etc/profile

4、打开目录/usr/local/hadoop2.7/etc/hadoop，修改 core-site.xml，在<configuration>标签中添加以下内容：

<property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>

        <value>hdfs://IP:9000</value>

   </property

5、接着修改hadoop-env.sh，将${JAVA_HOME}修改为自己的jdk路径，路径通过echo $JAVA_HOME命令查看

6、修改hdfs-site.xml，在<configuration>标签中添加以下内容：

<property>

   <name>dfs.name.dir</name>

   <value>/root/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/root/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>

7、修改mapred-site.xml，这里需要注意以下，（有些人的hadoop安装包里没有mapred-site.xml问价，可以复制mapred-site.xml.template文件并重命名为mapred-site.xml），在<configuration>标签内加入配置:

<property>

    <name>mapred.job.tracker</name>

    <value>IP:9001</value>

</property>

<property>

      <name>mapred.local.dir</name>

       <value>/root/hadoop/var</value>

</property>

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

8、修改core-site.xml，在在<configuration>标签内加入配置:

<property>
        <name>fs.default.name</name>
        <value>hdfs://IP:9000</value>
   </property>

9、启动hadoop,回到hadoop主目录，打开bin文件夹（有些是sbin）执行start-all.sh

10、验证

HDFS测试地址在浏览器输入:
http://IP:8088/cluster 
YARN测试地址在浏览器输入:
http://IP:50070

四、Hbase安装并搭建环境

1、下载hbase安装包，上传到linux并解压到usr/local目录。

2.修改conf/hbase-env.sh:

　　①去掉JAVA_HOME一句的#并且指定自己的jdk路径

　　②找到 export HBASE_MANAGES_ZK=true 这一句，去掉#

3.修改conf/hbase-site.xml,修改为:(XXX替换过为自己的ubuntu用户名)    ("/home/XXX/hbase_data/hbase"这个路径可以自定义为其他路径，但是一定要确认当前用户有访问权限)

  <property>

   <name>hbase.rootdir</name>

    <value>file:/home/XXX/hbase_data/hbase</value>

  </property>

4.进入bin目录执行start-hbase.sh启动HBase,安装启动完成。