Hadoop打卡第二天

一、Hadoop集群使用

一键启动大数据环境

/onekey/my-start-all.sh

一键关闭大数据环境
 

/onekey/my-stop-all.sh

查看启动进程

jps

二、HDFS文件系统
1.HDFS的概述
HDFS （ Hadoop Distributed File System ）是 Apache Hadoop 项目的一个子项目， 是使用 HDFS 作为存储系统 . HDFS 使用多台计算机存储文件 , 并且提供统一的访问接口 , 像是访问一个普通文件系统一样使用分布式文件系统.
2.HDFS的特点
（1）  HDFS 文件系统可存储超大文件，时效性稍差。
（2） HDFS 具有硬件故障检测和自动快速恢复功能。
（3） HDFS 为数据存储提供很强的扩展能力。
（4） HDFS 存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改。
（5） HDFS 可在普通廉价的机器上运行。
3.HDFS的架构
HDFS 采用 Master/Slave 架构
一个 HDFS 集群有两个重要的角色，分别是Namenode, Datanode 。
HDFS 的四个基本组件 :HDFS Client,NameNode,Datanode，Secondary NameNode 。
(1)Client
就是客户端。文件切分。

文件上传 HDFS 的时候， Client 将文件切分成 一个一个的 Block ，然后进行存储
与 NameNode 交互，获取文件的位置信息。

 与 DataNode 交互，读取或者写入数据。
Client 提供一些命令来管理 和访问 HDFS ，比如启动或者关闭 HDFS 。
(2)NameNode
就是 master，它是一个主管、管理者。
管理 HDFS 元数据（文件路径，文件的大小，文件的名字，文件权限，文件的 block 切片信息 
(3)DataNode
 就是 Slave 。 NameNode 下达命令， DataNode 执行实际的操作。
存储实际的数据块。
执行数据块的读 / 写操作。
定时向 namenode 汇报 block 信息。

三、HDFS特点：

1. HDFS文件系统可存储超大文件，时效性稍差。

2 .HDFS具有硬件故障检测和自动快速恢复功能。

3. HDFS为数据存储提供很强的扩展能力。

4. HDFS存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改。

5. HDFS可在普通廉价的机器上运行。