Hadoop 03
1. hadoop集群搭建大致步骤
1）准备VM，和一个虚拟机
要求：
- 虚拟机以nat方式连接，可以和宿主机互相ping通
- 创建非root用户，并且赋给root权限
- 安装一些常用工具，比如 rsync
- 用非root用户创建空目录作为hadoop的工作空间
- 虚拟机中hadoop和jdk都安装好，且环境变量配好
2）至少克隆出3台虚拟机
要求：
- 3台虚拟机相互可以ping通
- 3台虚拟机之间配置ssh，可以无密登录
- ip和主机名称都正确
3）hadoop集群
要求：
- 同步分发脚本可以正确运行
- hadoop的五个配置文件（4个xml+1个workers）正确
以上，通过初始化NN、启动hdfs、启动yarn就可以启动hadoop集群了
2. checkpoint流程
发生checkpoint时：
1、NN中：edit_processing改名为edits
2、NN中：新建空文件edit_processing
3、2NN中：2NN从NN中克隆出自己没有的edits，和fsimage
4、2NN中：2NN将edits转为元数据，并将这元数据追加到fsimage中，形成fsimage_chkpoint
5、2NN中：2NN将自己的fsimage_chkpoint克隆到NN中
6、NN中：NN将收到的fsimage_chkpoint改名为fsimage,覆盖旧的fsimage
287
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
