Linux 大数据 HADOOP 02 --01

————>>书接Linux 大数据 HADOOP 01实验继续！！
有些公司不用hadoop但是用hdfs 为什么呢？ 把hdfs当作存储用！

完全分布式
安装部署
• Hadoop 三大核心组件
– 分布式文件系统
– HDFS 已经部署完毕
– 分布式计算框架
– mapreduce
– 集群资源管理
– yarn
---------------------
安装部署
• 分布式计算框架 mapred-site.xml
– 改名
– FROM: mapred-site.xml.template
–
To: mapred-site.xml
– 资源管理类
– mapreduce.framework.name
------------------------------------------------------

【一】系统规划

主机                       角色             软件
192.168.4.10        master NameNode
                SecondaryNameNode        YARN
                ResourceManager HDFS
                                
192.168.4.11        node1 DataNode
                NodeManager HDFS        YARN    
                                
192.168.4.12        node2 DataNode
                NodeManager HDFS        YARN

192.168.4.13        node3 DataNode
                NodeManager HDFS        YARN
--------------------
hadoop有个特征，所有节点的都一样，所以在一台上配置，同步到其它机器上！！！

【二】• 分布式计算框架 mapred-site.xml
– 改名
– FROM: mapred-site.xml.template
–
To: mapred-site.xml
– 资源管理类
– mapreduce.framework.name

------------------------------------------

[root@nn01 ~]# cd /usr/local/hadoop/
[root@nn01 hadoop]# ls
[root@nn01 hadoop]# cd etc/hadoop/
[root@nn01 hadoop]# pwd
/usr/local/hadoop/etc/hadoop

[root@nn01 hadoop]# cp mapred-site.xml.template mapred-site.xml  ## 改成xml 因为xml才是有效的！
[root@nn01 hadoop]# vim mapred-site.xml                          ##mapred-site.xml 配置
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
---------------------------------
安装部署
• 分布式计算框架 mapred-site.xml
– 只支持 local 和 yarn 两种
– 单机使用 local
– 集群使用 yarn
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
--------------------
安装部署
• 资源管理 yarn-site.xml
– resourcemanager 地址

– yarn.resourcemanager.hostname
– nodemanager 使用哪个计算框架
– yarn.nodemanager.aux-services
– mapreduce_shuffle 是我们使用计算框架的名称
--------------
安装部署
【 三 】• 资源管理 yarn-site.xml
– yarn-site.xml 配置

[root@nn01 hadoop]# vim yarn-site.xml             ## yarn-site.xml 配置
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>nn01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

【四】 同步配置到其它主机(可以写成一个脚本方便执行！)

[root@nn01 ~]# for i in node{1..3};do rsync -aSH --delete /usr/local/hadoop ${i}:/usr/local/ -e 'ssh' & done

或者： 用脚本执行！！
[root@nn01 hadoop]# rrr
[root@nn01 hadoop]# 
[root@nn01 hadoop]# cat /usr/local/bin/rrr 
#!/bin/bash
for i in $@;do
    rsync -aSH --delete /usr/local/hadoop/etc ${i}:/usr/local/hadoop/ -e 'ssh' &
done
wait
[root@nn01 hadoop]# rrr node{1..3}
----------------
【 五 】  安装部署
• 启劢服务
– /usr/local/hadoop/sbin/start-yarn.sh
• 验证服务
– /usr/local/hadoop/bin/yarn node -list
[root@nn01 hadoop]# ./bin/yarn node –list

[root@nn01 hadoop]# cd /usr/local/hadoop/
[root@nn01 hadoop]# ls
[root@nn01 hadoop]# ./sbin/start-yarn.sh    ##-------> 启动yarn 

[root@nn01 hadoop]# ./sbin/start-dfs.sh     ##------->启动hdfs

也可以
[root@nn01 hadoop]# cat ./sbin/start-all.sh  ##这个脚本可以同时启动hdfs  yarn
这个脚本内容放在比较最后面！ 

【六】 验 证 
启动完成以后成功是否，第一步查看进程起来吗  是否启动成功， 看角色！

[root@nn01 hadoop]# jps      ##—--> 看自己的角色
12355 SecondaryNameNode
13348 Jps
12168 NameNode
13087 ResourceManager

[root@nn01 hadoop]# for i in node{1..3};do      ## 看节点的角色！       
> ssh ${i} jps
> done
11473 Jps
11367 NodeManager
11085 DataNode
11057 DataNode
11427 Jps
11321 NodeManager
11233 NodeManager
10966 DataNode
11342 Jps
#可以看到三台NodeManager  三台DataNode#
或者这样 更容易分的清楚！！
[root@nn01 hadoop]# for i in node{1..3};do echo "#-----${i}-----#";ssh ${i} jps; done
#-----node1-----#
11492 Jps
11367 NodeManager
11085 DataNode
#-----node2-----#
11057 DataNode
11446 Jps
11321 NodeManager
#-----node3-----#
11233 NodeManager
11361 Jps
10966 DataNode
--------------------------------
#进程起来了不代表 这个集群组建成功了，需要进行网络通信，只有网络通信认证成功以后，才能确定集群成功了。
##  NN1: 验证节点状态 验证节点状态 
[root@nn01 hadoop]# ./bin/yarn  ## 直接“回车”会看到帮助！！
[root@nn01 hadoop]# ./bin/yarn node -list   ## 看yarn的节点列表      

node1:35749            RUNNING           node1:8042                   0
node3:46247            RUNNING           node3:8042                   0
node2:32966            RUNNING           node2:8042                   0
[root@nn01 hadoop]# 
# 到此会看到集群的节点，集群配置完成！ 就可以使用了！
                      
----------------------------------------
【七 】# web访问hadoop #

• 使用 web 访问hadoop
– namenode web页面(nn01)
– http://192.168.1.10:50070/

– secondory namenode web 页面(nn01)
– http://192.168.1.10:50090/

– datanode web 页面(node1,node2,node3)
– http://192.168.1.11:50075/web访问hadoop

• 使用 web 访问hadoop
– resourcemanager web页面(nn01)
– http://192.168.1.10:8088/

– nodemanager web 页面(node1,node2,node3)
– http://192.168.1.11:8042/