参考资料:Hadoop实战等
三种运行模式:
1.单机模式:安装简单,仅仅用于调试
2.伪分布式模式:在单个节点上同时启动namenode,datanode、jobtracker、tasktracker、secondary namenode等5个进程,模拟分布式运行的各个节点。
3. 完全分布式模式:正常的Hadoop集群,有多个节点构成。(至少是3个,一个Master,2个Slaves,保证冗余)。
Hadoop的安装过程:
1. 配置Hadoop-env.sh文件
2. 配置core-site.xml文件
主要是用于配置namenode的IP和端口,要是在分布式系统中需要将其中的localhost改为真实的namenode的IP地址
3. 配置hdfs-site.xml文件
指定该节点存放数据的位置(目录需要预先建立),同时指定该数据块被复制多少份。
4. 配置mapred-site.xml文件
作业跟踪器是MapReduce调度的核心,必须先找到JobTracker,然后才能够提交MapReduce作业,以及对该作业进行控制。在完全分布式的系统中将其中localhost改为机器的真实IP地址即可。
5. 配置ssh,生成秘钥
以便节点之间能够免密码链接进行工作。
6.在名称节点上格式化分布式文件系统
建立用于存放元数据的文件目录等。
7. 启动Hadoop守护进程
8. 监测运行情况
完全分布式模式配置步骤: