hadoop单机部署

文章：https://blog.csdn.net/rongbo_j/article/details/50017853

1、安装java环境（此处省略）

2、解压hadoop，并配置hadoop环境变量到/etc/profile

解压hadoop-2.9.0.tar.gz

tar -xzvf hadoop-2.9.0.tar.gz

添加hadoop环境变量

vim /etc/profile

# hadoop path
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.0/bin
export PATH=$PATH:$HADOOP_HOME

3、修改Hadoop配置

首先配置ip映射

vim /etc/hosts

因为需要远程连接，所以这里ip要设置为本机ip，不能设置成127.0.0.1

172.16.252.150 hadoop

（1）.修改hadoop解压目录下的 etc/hadoop/hadoop-env.sh文件

指定java目录

export JAVA_HOME=/usr/local/jdk1.8.0_131

（2）修改etc/hadoop/core-site.xml:

首先要创建tmp目录，用于数据持久化

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <!--存放数据的公共目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.9.0/tmp</value>
    </property>
</configuration>

（3）修改etc/hadoop/hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- 开启权限，远程客户端可以通过脚本给hdfs创建目录 -->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:50075</value>
    </property>
</configuration>

（4）修改etc/hadoop/mapred-site.xml文件

<configuration>
    <property>
　　　　<name>mapred.job.tracker</name>
　　　　<value>hadoop:9001</value>
　　</property>
　　<property>
　　　　<name>mapred.child.tmp</name>
　　　　<value>/usr/local/hadoop/hadoop-2.9.0/tmp</value>
　　</property>
</configuration>

4、安装Hadoop分布式文件系统

（1）格式化文件系统：

bin/hdfs namenode -format

（2）启动NameNode进程和DateNode进程

sbin/start-all.sh

（3）查看hadoop进程是否正常启动

ps -ef|grep hadoop

5、在web浏览器中访问NameNode的web接口，默认地址为：http://localhost:50070/

 

如果出现上图所示界面说明hadoop启动成功。