Hadoop安装与配置

概述：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 本文主要讲述CentOS 6.5下Hadoop 3.x的单机模式的安装过程，在安装前需要安装JDK1.8

1、下载Hadoop-3.1.2

2、上传文件

scp hadoop-3.1.2.tar.gz root@hadoop:~/software

3、解压

tar -zxvf ~/software/hadoop-3.1.2.tar.gz -C ~/app

4、hadoop-env.sh配置

vi ~/app/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
​
JAVA_HOME=/root/app/jdk1.8.0_201

5、core-site.xml配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/data/tmp/hadoop</value>
    </property>
</configuration>

6、hdfs-site.xml配置

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

7、修改系统环境变量

vi .bash_profile
​
export JAVA_HOME=/root/app/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/root/app/hadoop-3.1.2

8、格式化HDFS

hdfs namenode -format

格式化成功提示如下：

9、启动HDFS

~/app/hadoop-3.1.2/sbin/start-dfs.sh

若启动报错

start-dfs.sh需要新增两行

HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

10、检测启动进程

#检测启动进程
jps
#出现以下进程则说明启动成功
DataNode 
NameNode 
SecondaryNameNode

11、访问Web UI

http://hadoop:9870

结果如下

op Web UI的访问端口已由2.X的50070改为9870