hadoop学习复习提纲

hadoop

基础入门

主要有运行模式：
本地（只配置了hadoop_HOME），伪分布式（集群中只有自己一台，算是一个完整的环境了吧），完全分布式（多台机器组成一个集群）
完全分布式的搭建中的一些重要文件：（基础就是ssh和JAVA_HOME）
hadoop-env.sh hadoop-site.xml
core-size.xml
mapred-site.xml
yarn-site.xml
slaves等。
格式化namenode和启动hdfs。

hdfs

优缺点：廉价机上，不适合实时，小文件等
块大小：128MB默认，太大和太小的情况。
hdfs shell操作
hdfs的api操作，上传下载（api操作不能删除恢复）
写数据的流程画图（注意抛出已经存在异常，切块、机架感知怎么选节点，建立IO流通道，先内存在落盘）
读数据的流程画图（本地client拼接）
NN和2NN:Fsimage和Edits加载到内存 画图
2NN合并两者的触发机制checkpoint点检查（时间间隔或者edits多） 尽量NN和2NN不放在一个节点上
NN故障，从2NN恢复
安全模式 就是加载Fsimage 和 edits的过程，只响应读取
NameNode多目录配置：为了是增加可靠性，多个目录之间是相同的