Hadoop环境搭建（三）

一、Hadoop的本地部署使用

目标1：统计一下一个词出现的次数~

1. 首先要有包含内容的文件

（1）在/opt下面创建一个目录（文件夹）test

命令：mkdir test

（2）在/opt/test目录下面创建input目录（文件夹）和output目录（文件夹）

命令：mkdir  input

mkdir output

（3）在/opt/test/input目录下创建包含内容的文件。（其实就是在文件中编辑文字）

命令:touch (文件名）.txt

1. 用hadoop去执行这个文件

切换到/opt/module/hadoop-3.1.3/share/hadoop/mapreduce目录下

执行文件：

hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt

1. 查看执行后的结果

命令：cd /opt/test/output/count.txt

命令：cat part-r-00000

二、Hadoop的伪分布式部署

目标2：

           

1. 配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hadoop-env.sh文件

Vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置core-site.xml文件

Vi core-site.xml

（3）修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下

设置hdfs-site.xml文件

Vi hdfs-site.xml

命令：vi hdfs-site.xml

在configuration中指定HDFS的数量

<configuration>

<!-- 指定HDFS副本的数量 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

1. 启动集群

格式化命令：hdfs namenode –format

1. 启动namenode          

命令：hdfs  - -daemon  start  namenode

1. 启动datanode

命令：hdfs  --daemon start datanode

Jps查看