Hadoop ---- ResourceManager、词频统计

在之前准备好的环境下给master （nn01）主机添加ResourceManager的角色

在node1，node2，node3上面添加NodeManager的角色

步骤一：安装与部署hadoop

1）配置mapred-site（nn01上面操作）

[root@nn01 ~]# cd /usr/local/hadoop/etc/hadoop/
[root@nn01 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@nn01 hadoop]# vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>    //资源管理类型
        <value>yarn</value>
    </property>
</configuration>

2）配置yarn-site（nn01上面操作）

[root@nn01 hadoop]# vim yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>    //申明yarn管理主机是那台
        <value>nn01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>   //使用那个计算框架
       <value>mapreduce_shuffle</value>    //使我们使用计算框架的名称
    </property>
</configuration>

3）同步配置（nn01上面操作）

[root@nn01 hadoop]# for i in {22..24}
do 
rsync -aSH --delete /usr/local/hadoop/ 192.168.1.$i:/usr/local/hadoop/  -e 'ssh' &
done

[1] 712
[2] 713
[3] 714

4）验证配置（nn01上面操作）

[root@nn01 hadoop]# cd /usr/local/hadoop

[root@nn01 hadoop]# ./sbin/start-dfs.sh

[root@nn01 hadoop]# ./sbin/start-yarn.sh


[root@nn01 hadoop]# ./bin/yarn node -list     //查看node节点状态


[root@nn01 hadoop]# jps    //nn01查看有ResourceManager
23408 NameNode
1043 ResourceManager
1302 Jps
23591 SecondaryNameNode

[root@nn01 hadoop]# ssh node1 jps        //node1查看有NodeManager
25777 Jps
22409 DataNode
25673 NodeManager

[root@nn01 hadoop]# ssh node2 jps        //node1查看有NodeManager
25729 Jps
25625 NodeManager
22367 DataNode

[root@nn01 hadoop]# ssh node3 jps        //node1查看有NodeManager
22356 DataNode
25620 NodeManager
25724 Jps

5）web访问hadoop

http://192.168.1.21:50070/          //--namenode web页面（nn01）

http://192.168.1.21:50090/          //--secondory namenode web页面（nn01）

http://192.168.1.21:8088/           //--resourcemanager web页面（nn01）


http://192.168.1.22:50075/              //--datanode web页面（node1,node2,node3）

http://192.168.1.22:8042/               //--nodemanager web页面（node1,node2,node3）

Hadoop词频统计

1、 在集群文件系统里创建文件夹

2、上传要分析的文件到目录中

3、分析上传文件

4、展示结果

[root@nn01 hadoop]# ./bin/hadoop fs -ls /        //查看集群文件系统的根，没有内容

[root@nn01 hadoop]# ./bin/hadoop fs -mkdir  /aaa        //在集群文件系统下创建aaa目录

[root@nn01 hadoop]# ./bin/hadoop fs -ls /        //再次查看，有刚创建的aaa目录
Found 1 items
drwxr-xr-x   - root supergroup          0 2018-09-10 09:56 /aaa

[root@nn01 hadoop]#  ./bin/hadoop fs -touchz  /fa    //在集群文件系统下创建fa文件

[root@nn01 hadoop]# ./bin/hadoop fs -put *.txt /aaa       //上传*.txt到集群文件系统下的aaa目录

[root@nn01 hadoop]#  ./bin/hadoop fs -ls /aaa    //查看


[root@nn01 hadoop]# ./bin/hadoop fs -get  /aaa     //下载集群文件系统的aaa目录

[root@nn01 hadoop]# ./bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar  wordcount /aaa /bbb    //hadoop集群分析大数据，hadoop集群/aaa里的数据存到hadoop集群/bbb下

[root@nn01 hadoop]# ./bin/hadoop fs -cat /bbb/*        //查看集群里的数据