Hadoop集群使用

Hadoop集群分为HDFS集群（NameNode，DataNode，SecondaryNameNode）和YARN集群（ResourceManager，NodeManager）

集群搭建方式有两种，分别是Standalone mode（单机模式）和Cluster mode（集群模式）

·  单机模式， 1 个机器上运行 HDFS 的 NameNode 和 DataNode 、 YARN 的 ResourceManger 和 NodeManager ，主要用于学 习和调试。

·  集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

查看启动进程-jps 

   

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如上所述：

查看NameNode页面地址: http://192.168.52.161:50070

查看YARN页面， http://192.168.52.161:8088

查看已经finished的mapreduce运行日志

http://192.168.52.161:19888

HDFS的概述：

HDFS （ Hadoop Distributed File System ）是 Apache Hadoop 项目的一个子项目 . Hadoop 非常适于存储大型数据 ( 比如 TB 和 PB), 其就是使用 HDFS 作为存储系统 . HDFS 使用多台计算机存储文件 , 并且提供统一的访问接口 , 像是访问一个普通文件系统一样使用分布式文件系统.

HDFS特点：     

·  HDFS 文件系统可存储超大文件，时效性稍差。

·  HDFS 具有硬件故障检测和自动快速恢复功能。

·  HDFS 为数据存储提供很强的扩展能力。

·  HDFS 可在普通廉价的机器上运行。

HDFS的Shell命令

1.ls   命令  能够显示文件列表

2.mkdir  命令   能够创建目录，使用-p参数可以递归创建目录

3.mv  命令  能够将hdfs上的文件从原路径src移动到目标路径dst

4.rm  命令  删除参数指定的文件和目录，参数可以有多个，删除目录需要加-r参数

5. cp 命令  能将文件拷贝到目标路径中

6.cat  命令 能 将参数所指示的文件内容输出到控制台

7.put  命令 能将单个的源文件或者多个源文件 srcs 从本地文件系统上传到目标文件系统中

8.get  命令 能将 HDFS 文件拷贝到本地文件系统。