Hadoop入门+HDFS命令

Hadoop的核心是HDFS和MapReduce

1.HDFS的特点是，适合于

1）大数据

2）硬件廉价

3）高容错性

4）文件分块存储

5）流式数据访问，不支持动态改变文件内容

它的关键元素有：

Block：一般大小为64M,

NameNode：保存整个文件系统的目录信息，分块信息，文件信息，由唯一一台主机专门保存，在Hadoop2*版本中支持activity-standy模式，当这个NameNode失效时，会启用备用主机启动NameNode

DataNode：分布在廉价的计算机上，用于存放Block块文件的

2.一些HDFS的命令：

1.列出HDFS文件

bin/hdfs dfs -ls

2.列出HDFS下某个文件目录下的文件

bin/hdfs dfs -ls home/a

3.列出HDFS下某个文件的内容

bin/hdfs dfs -cat home/a/file1

4.将文件file1上传到HDFS上并且重命名为file2

bin/hdfs dfs -put file1 file2

5.将文件file2下载到本地，并且命名为file1

bin/hdfs dfs -get file2 file1

6.删除HDFS下的文档

bin/hdfs dfs -rmr home/a/file1

7.查看报告

bin/hdfs dfsadmin -report

8.进入安全模式

bin/hdfs dfsadmin -enter

9.退出安全模式

bin/hdfs dfsadmin -leave

3.MapReduce

MapReduce分为Map和Reduce两个部分，我的理解是Map将任务分为一个个子任务分发到各个计算机上，Reduce则将Map后的一个个子任务的结果，merge在一起，找到原本任务的答案。

http://blessht.iteye.com/blog/2095675

http://blog.163.com/ppy2790@126/blog/static/10324224120137353834805/