CentOS安装Hadoop、hbase单机版

 

一、首先安装JDK并设置环境变量

二、安装hadoop2.9.2

  2.1 下载hadoop2.9.2  地址http://mirrors.hust.edu.cn/apache/hadoop/common/放到 /usr/local目录下 

 2.2 解压   tar -zxvf hadoop-2.9.2.tar.gz

2.3 配置hadoop环境变量   vim /etc/profile   添加如下配置

     export HADOOP_HOME=/usr/local/hadoop-2.9.2
     export PATH=$HADOOP_HOME/bin:$PATH 

  ----------

    source /etc/profile

  查看版本  hadoop version 

2.4 vim core-site.xml   添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://192.168.196.180:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

2.5 vim hadoop-env.sh   配置成你自己的jdk安装路径

 2.6 vim hdfs-site.xml  添加如下内容

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>

       <!--这里是你自己的ip，端口默认-->
        <value>192.168.196.180:50090</value>
    </property>

2.7 复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml  添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
2.8 配置yarn-site.xml   

vim yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.196.180</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

2.9 格式化hadoop文件格式，

执行命令  hadoop namenode -format，成功之后启动

执行启动所有命令 ./start-all.sh 

2.10 使用  jps   查看进程，能看到这些进程证明启动成功了，

也可以通过网页来查看  localhost:50070

三、安装hbase 

3.1 hbase版本可到以下网址中下载：http://mirror.bit.edu.cn/apache/hbase

解压：tar -xvf hbase-2.0.3-bin.tar.gz

3.2 /etc/profile里增加

export HBASE_HOME=/opt/hbase-2.0.2

export PATH=$HBASE_HOME/bin:${PATH}

source /etc/profile

3.3 vi hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/
export HBASE_CLASSPATH=/opt/hbase-2.0.2/conf
export HBASE_MANAGES_ZK=true   //使用自带zk

3.4 vi hbase-site.xml

<configuration>
 
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:9000/hbase</value>
</property>
 
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>localhost</value>
</property>
 
<property>
  <name>hbase.tmp.dir</name>
  <value>/root/hbase/tmp</value>
</property>
 
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>

3.5 增加，

将Hadoop安装目录下的配置文件hdfs-site.xml和core-site.xml（Hadoop 2.9.2在hadoop/etc/hadoop/）拷贝到Hbase的配置文件目录conf/下

3.6 启动Hbase：

 ./bin/start-hbase.sh

 jps查看进程