Hadoop集群分为HDFS集群(NameNode,DataNode,SecondaryNameNode)和YARN集群(ResourceManager,NodeManager)
集群搭建方式有两种,分别是Standalone mode(单机模式)和Cluster mode(集群模式)
· 单机模式,
1
个机器上运行
HDFS
的
NameNode
和
DataNode
、
YARN
的
ResourceManger
和
NodeManager
,主要用于学 习和调试。
· 集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。
查看启动进程-jps
![](https://i-blog.csdnimg.cn/blog_migrate/e7006287f02facaa3023ab746e5647e8.png)
一旦Hadoop集群启动并运行,可以通过web-ui进行集群查看,如上所述:
查看NameNode页面地址:
http://192.168.52.161:50070
![](https://i-blog.csdnimg.cn/blog_migrate/8812254611d2b314364dc93783f70ae7.png)
查看YARN页面,
http://192.168.52.161:8088
![](https://i-blog.csdnimg.cn/blog_migrate/88e0c8d87881ff1f1c4b9dc8e1b2aa96.png)
查看已经finished的mapreduce运行日志
http://192.168.52.161:19888
![](https://i-blog.csdnimg.cn/blog_migrate/d37794dcfc066db5a62c47552ee695ea.png)
HDFS的概述:
HDFS
(
Hadoop Distributed File System
)是
Apache Hadoop
项目的一个子项目
. Hadoop
非常适于存储大型数据 (
比如
TB
和
PB),
其就是使用
HDFS
作为存储系统
. HDFS
使用多台计算机存储文件
,
并且提供统一的访问接口
, 像是访问一个普通文件系统一样使用分布式文件系统.
HDFS特点:
·
HDFS
文件系统可存储超大文件,时效性稍差。
· HDFS
具有硬件故障检测和自动快速恢复功能。
· HDFS
为数据存储提供很强的扩展能力。
· HDFS
可在普通廉价的机器上运行。
HDFS的Shell命令
1.ls 命令 能够显示文件列表
2.mkdir 命令 能够创建目录,使用-p参数可以递归创建目录
3.mv 命令 能够将hdfs上的文件从原路径src移动到目标路径dst
4.rm 命令 删除参数指定的文件和目录,参数可以有多个,删除目录需要加-r参数
5. cp 命令 能将文件拷贝到目标路径中
6.cat 命令 能
将参数所指示的文件内容输出到控制台
7.put 命令 能将单个的源文件或者多个源文件
srcs
从本地文件系统上传到目标文件系统中
8.get 命令 能将
HDFS
文件拷贝到本地文件系统。