hadoop伪分布式部署

hadoop部署

1.创建hadoop用户并为其设置密码

2切换到hadoop用户安装java环境

3.安装hadoop

4.独立操作debug

[hadoop@server1 etc]$ cd ..
[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ mkdir input ##测试目录
[hadoop@server1 hadoop]$ cp etc/hadoop/*.xml input/
[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  ##会出现很多的测试程序

伪分布式部署

1.配置core-site.xml 

core-site.xml文件包含了NameNode主机的地址以及监听的RPC端口的信息，对于伪分布式模式的安装来说，Namenode默认使用的RPC端口为8020

[hadoop@server1 hadoop]$ cd etc/hadoop/
[hadoop@server1 hadoop]$ vim core-site.xml
<configuration>
            <property>    ##用来定义属性
                <name>fs.defaultFS</name>   ##说明参数是什么
                <value>hdfs://172.25.66.1:9000</value>  ##参数
            </property>
</configuration>

2.配置hdfs-site.xml 主要用来配置HDFS相关属性，例如复制因子（即数据块的副本数）、NN和DN用来存储数据的目录等。数据块的副本数对于伪分布式的hadoop应该为1

[hadoop@server1 hadoop]$ vim hdfs-site.xml 
<configuration>
      <property>
               <name>dfs.replication</name>
                <value>1</value>
      </property>
</configuration>

3.slaves文件存储了当前集群的所有slave结点的列表，对于伪分布式模型，文件内容默认为localhost

4.设置免密登陆

5.格式化hdfs

6.启动hadoop

7.查看服务端口是否开启

测试：

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /test  
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2018-12-04 16:06 /test
[hadoop@server1 hadoop]$ bin/hdfs dfs -put /etc/fstab /test/fstab  #将本地的/etc/fstab文件上传到hdfs文件系统的/test目录下
[hadoop@server1 hadoop]$ bin/hdfs dfs -lsr /
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x   - hadoop supergroup          0 2018-12-04 16:17 /test
-rw-r--r--   1 hadoop supergroup        779 2018-12-04 16:17 /test/fstab

8.配置mapred-site.xml文件，用于配置集群的MapReduce framework,此处应该指定使用yarn,另外的可用之还有local和classic。文件默认不存在，但有模版文件mapred-site.xml.template

9.配置yarn-site.xml用于YARN进程及yarn的相关属性

启动yarn

在浏览器中查看(yarn集群为8088端口)