Hadoop的伪分布式部署

1.配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hadoop-env.sh文件

Vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置core-site.xml文件

Vi core-site.xml

 

（3）修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hdfs-site.xml文件

Vi hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

1. 启动集群

1. 格式化namenode

命令：Hdfs namenode -format

1. 启动namenode

命令：hdfs --daemon start

(3)如果出现进程启动不起来

在/opt/module/hadoop3.1.3/有logs文件夹 需要删除

命令：cd /optmodule/hadoop3.1.3/

ll

rm -rf logs

1.启动resourcemanager

命令：yarn --daemon start resourcemanager

2.启动nodemanager

命令：yarn --daemon start nodemanager

3.Jsp查看java进程

命令：jsp

4.在HDFS中创建文件夹/user/input

命令：hdfs dfs -mkdir -p /user/input

5.将文件上传到HDFS

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

6.查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径  

注意：这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

7.查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /user/input/wc.input

1. 执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

9.查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /user/output/*

10.停止进程

hdfs –daemon stop namenode

Hdfs维护了一个抽象的目录

群起命令: start-all.sh

群停命令:stop-all.sh