Hadoop伪分布部署

一、在hadoop中执行

在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce 目录中执行文件

命令：hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt

然后查看执行结果

切换到存放执行后文件/opt/test/output/count.txt目录中查看执行后的文件

二、伪分布部署

（1）部署环境

1.hadoop目录下部署环境配置

配置：hadoop-env.sh配置jdk环境变量JAVA_HOME

2.配置 core-site.xml 文件

vi core-site.xml

指定HDFS中namenode的地址。将命令放到configuration标签中

<configuration>

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop100:9820</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data/tmp</value>

</property>

</configuration>

注：要在<configuration>

</configuration> 里面添加内容

3.配置hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

 三、启动集群

1. 格式化namenode

命令：hdfs namenode -format

      2.启动namenode

命令：hdfs  --daemon  start  namenode

        3.查看进行

命令：jps

        4.启动一个datanode

命令：hdfs  --daemon start datanode