本文详细介绍了Hadoop的四大模块：common、hdfs、yarn和mapreduce，以及它们对应的配置文件。重点讲解了Hadoop启动过程，包括启动hdfs和yarn的各个组件，如namenode、datanode、resourcemanager和nodemanager。同时，列举了启动过程中可能遇到的常见错误及解决方法，如集群ID不匹配、文件系统未格式化、主机名解析问题和防火墙设置等。
1、hadoop四大模块：
（1）hadoop common：通用模块，是hadoop其他模块的基础，对应core-site.xml文件
fs.defaultFS------hdfs://s101 ====== 指定hadoop的文件系统，hdfs文件系统
hadoop.tmp.dir------/home/centos/hadoop ====== hadoop工作目录位置
（2）hdfs：对应用数据提供高吞吐量的访问，对应hdfs-site.xml文件
dfs.replication------3 ====== 副本数，相当于备份数
（3）yarn：分布式调度模块，，对应yarn-site.xml文件
resourcemanager------s101 ====== resourcemanager进程的地址，只在master节点上存在
（4）mapreduce：分布式计算模块，，对应mapred-site.xml文件
framework------yar
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
