四、Hadoop的伪分布式部署

1.配置集群环境

①：修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置hadoop-env.sh文件

命令：vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME修改为

export JAVA_HOME=/opt/module/jdk1.8.0_212

 ②：修改第二个配置 core-site.xml

在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置core-site.xml文件

命令：vi core-site.xml

 ③：修改第三个配置   hdfs-site.xml

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hdfs-site.xml文件

命令：vi hdfs-site.xml

vi core-site.xml

指定HDFS中namenode的地址。将命令放到configuration标签中

<configuration>

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

    <value>hdfs://hadoop100:9820</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data/tmp</value>

</property>

</configuration>

2:格式化namenode 命令：Hdfs namenode -format

启动namenode   命令：hdfs --daemon start

jps  查看进程

3:启动datanode

 命令:hdfs --daemon start datanode(pwd 查看当前所在位置)

4、配置yarn-site.xml

命令：vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- Reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop100</value>

</property>

 <property>

  <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

 </property>

</configuration>

5、配置mapred-site.xml

命令：[root@hadoop100 hadoop]# vi mapred-site.xml

<configuration>

<!-- 指定MR运行在YARN上 -->

<property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

</property>

</configuration>

6、启动resourcemanager

命令： yarn --daemon start resourcemanager

jps 查看启动

7、启动nodemanager

命令： yarn --daemon start nodemanager

jps 查看启动

8、Jsp查看java进程  命令：jsp

9、在HDFS中创建文件夹/opt/input

命令：hdfs dfs -mkdir -p /opt/input

10、将文件上传到HDFS

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

案例: hdfs  dfs  -put  wcinput/wc.input   /opt/input/

11、查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径   注意，这里面的根目录不是linux的根目

案例：hdfs dfs -ls /opt/input/

12、查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /opt/input/wc.input

13、执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

案例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/input  /opt/output

14、查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /opt/output/*

15、停止进程 hdfs –daemon stop namenode

Hdfs维护了一个抽象的目录