一,hadoop基本了解
1)hadoop的端口:
50070 //他是namenode在web ui的一个http端口(自然他也包括datanode里面的内容)
50075 //他是datanode在web ui的一个http端口(不经常用到)
50090 //他是secondarynamenode在web ui的一个端口(同50075)
8020 //他是namenode 在 rpc(远程访问协议) 的一个端口
50010 //他是datanode在 rpc 的一个端口
(远程过程调用 (RPC) 是一种协议,程序可使用这种协议向网络中的另一台计算机上的程序请求服务)
2)hadoop的构建
hadoop四大模块
-------------------
common
hdfs //namenode + datanode + secondarynamenode
mapred
yarn //resourcemanager + nodemanager
启动脚本
-------------------
1.start-all.sh //启动所有进程
2.stop-all.sh //停止所有进程
3.start-dfs.sh //
4.start-yarn.sh
[hdfs] start-dfs.sh stop-dfs.sh
NN(namenode)
DN(datanode)
2NN(secondarynamenode)
[yarn] start-yarn.sh stop-yarn.sh
RM(resourcemanager)
NM(nodemanager)
3)脚本分析(了解)
脚本分析
-------------------
1)sbin/start-all.sh
--------------
libexec/hadoop-config.sh
start-dfs.sh
start-yarn.sh
2)sbin/start-dfs.sh
--------------
libexec/hadoop-config.sh
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...
3) sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
bin/yarn-daemon.sh start resourcemanager
bin/yarn-daemons.sh start nodemanager
4) sbin/hadoop-daemons.sh
----------------------
libexec/hadoop-config.sh
slaves
hadoop-daemon.sh
5) sbin/hadoop-daemon.sh
-----------------------
libexec/hadoop-config.sh
bin/hdfs ....
6)sbin/yarn-daemon.sh
-----------------------
libexec/yarn-config.sh
bin/yarn
7)bin/hadoop
------------------------
hadoop verion //版本
hadoop fs //文件系统客户端.
hadoop jar
hadoop classpath
hadoop checknative