-
hadoop配置文件
-
默认配置(相对应的jar)
- core-defaut.xml
配置fs.trash 垃圾回收机制 - hdfs-defaut.xml
- yarn-defaut.xml
- mapred-defaut.xml
- core-defaut.xml
-
自定义配置($HADOOP_HOME/etc/hadoop)
- core-site.xml
- hdfs-site.xml
- yarn-site.xml
- mapred-site.xml
-
-
组件启动方式
-
各个组件逐一启动
-
hadoop
- hdfs :hadoop-daemon.sh start|stop
namenode |datanode|sencondarynode
- hdfs :hadoop-daemon.sh start|stop
-
yarn
- yarn-daemon.sh start|stop resourcemanager|nodemanager
-
mapereduce
- mr-historyserver-daemon.sh start|stop historyserver
-
-
各个模块分开启动
- start-dfs.sh|stop-dfs.sh|start-yarn.sh|stop-yarn.sh
-
SSH免密登录
- 生成ssh key的密钥
-
全部启动(start-all.sh)
-
-
运行压力测试
-
NameNode: core-site.xml可发现运行在哪台机器上
-
DateNode:
-
secorndaryNode:
hdfs-site.xml -
YARN
- ResourceManager:yarn-site.xml
- NodeManager:slaves
-
Mapreduce
- maperd-site.xml:historyserver
-
理解守护进程配置的位置和对应的节点
-
-
native库的编译问题
-
没有编译,hdfs -ls 会出现warn
-
hadoop的编译安装
-
hadoop基础(五)—hadoop各组件配置和启动
最新推荐文章于 2023-08-22 10:29:34 发布