hadoop基本了解

一，hadoop基本了解

   1）hadoop的端口:

           50070        //他是namenode在web ui的一个http端口(自然他也包括datanode里面的内容)

           50075       //他是datanode在web ui的一个http端口（不经常用到）

           50090        //他是secondarynamenode在web ui的一个端口（同50075）

           8020           //他是namenode 在 rpc(远程访问协议) 的一个端口

           50010       //他是datanode在 rpc 的一个端口

          (远程过程调用 (RPC) 是一种协议，程序可使用这种协议向网络中的另一台计算机上的程序请求服务)

 

         

    2)hadoop的构建

          

                hadoop四大模块
                 -------------------
                       common
                       hdfs        //namenode + datanode + secondarynamenode

                       mapred
                       yarn        //resourcemanager + nodemanager

                       启动脚本
                       -------------------

                        
                           1.start-all.sh        //启动所有进程
                           2.stop-all.sh        //停止所有进程

                           3.start-dfs.sh        //
                           4.start-yarn.sh

                           [hdfs]  start-dfs.sh stop-dfs.sh
                             NN(namenode)
                             DN(datanode)
                             2NN(secondarynamenode)

                            [yarn] start-yarn.sh stop-yarn.sh
                               RM(resourcemanager)
                               NM(nodemanager)

         3)脚本分析(了解)

              脚本分析
              -------------------
                1）sbin/start-all.sh
                    --------------
                    libexec/hadoop-config.sh
                    start-dfs.sh
                    start-yarn.sh

                2）sbin/start-dfs.sh
                       --------------
                       libexec/hadoop-config.sh
                       sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
                       sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
                       sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
                       sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...             

                3）  sbin/start-yarn.sh
                        --------------    
                        libexec/yarn-config.sh
                        bin/yarn-daemon.sh start resourcemanager
                        bin/yarn-daemons.sh start nodemanager
    

                 4） sbin/hadoop-daemons.sh
                         ----------------------
                          libexec/hadoop-config.sh

                          slaves

                          hadoop-daemon.sh

                   5） sbin/hadoop-daemon.sh
                      -----------------------
                        libexec/hadoop-config.sh
                        bin/hdfs ....
    

                    6）sbin/yarn-daemon.sh
                        -----------------------
                        libexec/yarn-config.sh
                        bin/yarn

                   7）bin/hadoop
                        ------------------------
                       hadoop verion        //版本
                       hadoop fs            //文件系统客户端.
                       hadoop jar            
                       hadoop classpath
                       hadoop checknative