关于hadoop的基本知识

Google Hadoop
mapreduce mapreduce
GFS HDFS
BigTable Hbase

Hbase 最大化利用内存
HDFS 最大化利用磁盘
MapReduce 最大化利用CPU

Namenode 
保存metadate信息（在启动后加载到内存）

Datanode
保存block
启动DN线程时向NN汇报block信息
心跳联系（3秒一次）


数据损坏处理
1.DN读取block计算checksum
2.client读取其他DN上的block；NN标记该块损坏，负责block达到预期设置的文件备份数
3.DN在其文件创建后三周验证其checksum

SecondaryNameNode
NN的冷备份
帮助NN合并edits log,减少NN启动时间

hadoop的安全模式
查看安全模式的状态
[hadoop@lax bin]$ hadoop dfsadmin -safemode get
Safe mode is ON
离开安全模式
[hadoop@lax bin]$ hadoop dfsadmin -safemode leave
暂时离开安全模式
[hadoop@lax bin]$ hadoop dfsadmin -safemode wait
进入安全模式
[hadoop@lax bin]$ hadoop dfsadmin -safemode enter

hadoop fsck /
检查HDFS中文件的健康状况

创建一个文件夹
hadoop fs -mkdir /user/hadoop/20140718
上传一个文件
hadoop fs -put/copyFormLocal word.txt /user/hadoop/20140718
删除一个文件和文件夹
hadoop fs -rm /user/hadoop/20140718/word.txt
查看文件夹里面的文件
hadoop fs -ls /user/hadoop/20140718/
查看某个文件的内容
hadoop fs -text/cat/tail /user/hadoop/20140718/word.txt


列出正在运行的job
hadoop job -list
kill正在运行的job
hadoop job -kill <job_id>