Hadoop伪分布式安装

一、准备

1.安装jdk1.8

2.下载 hadoop-2.6.5.tar.gz

3.修改别名

打开/etc/sysconfig/network文件

NETWORKING=yes
HOSTNAME=node0001

4.配置/etc/hosts

为了方便，配置映射信息，本机ip为192.168.49.31对应与node0001

二、安装hadoop

1.解压

把hadoop-2.6.5.tar.gz解压到/opt/目录下

tar xf hadoop-2.6.5.tar.gz -C /opt/

2.配置环境变量

打开/etc/profile，在文件末尾加入hadoop的路径

然后source /etc/profile，使得配置文件生效

3.修改配置文件的JAVA_HOME

在/opt/hadoop-2.6.5/etc/hadoop/目录下，有hadoop-env.sh、mapred-env.sh、yarn-env.sh文件，修改其JAVA_HOME的路径

export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64

hadoop-env.sh

mapred-env.sh

yarn-env.sh

4.配置主节点信息，dir目录信息

打开/opt/hadoop-2.6.5/etc/hadoop/core-site.xml文件

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node0001:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/hadoop/pseudo</value>
        </property>
</configuration>

 

5.配置从节点信息

打开/opt/hadoop-2.6.5/etc/hadoop/slaves文件

6.配置副本数量、及secondary

打开/opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node0001:50090</value>
        </property>
</configuration>

 

三、使用

1.格式化

hdfs namenode -format

格式化成功

会在/var/hadoop/pseudo下生成数据

2.启动

使用start-dfs.sh启动hadoop

start-dfs.sh

使用jps，查看当前java进程

在浏览器输入node0001:50070可以看到界面

3.使用hdfs建立目录

建立目录/user/roots

hdfs dfs -mkdir -p /user/root

4.上传文件

把文件上传到/user/root

hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

在node0001:50070可以查看上传的文件

5.关闭

使用stop-dfs.sh关闭hadoop

stop-dfs.sh