Hadoop之Hadoop核心HDFS

---第1章 初识大数据

• 大数据是一个概念也是一门技术,是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术.

回到顶部

---第2章 Hadoop核心HDFS

• Hadoop是一个开源的大数据框架,是一个分布式计算的解决方案,Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)
• 存储是大数据技术的基础,分布式计算是大数据应用的解决方案
• HDFS基础架构:

1. 数据块:是抽象块,一般设置为128MB,备份3个.
2. NameNode:主数据块,管理文件系统的命名空间,存放文件元数据,维护文件系统的所有文件和目录,文件与数据块的映射,记录每个文件各个块所在数据节点的信息
3. DataNode:从数据块,存储并检索数据块,向NameNode更新所存储块的列表

• HDFS优点:

1. 适合大文件存储,并有副本策略
2. 可以构建在廉价的机器上,并有一定的容错和恢复机制
3. 支持流式数据访问,一次写入,多次读取最高效

• HDFS缺点:

1. 不适合大量小文件存储
2. 不适合并发写入,不支持文件随机修改
3. 不支持随机读等低延时的访问方式

• 数据块的大小多少合适:64MB或128MB,太小会增加硬盘寻道时间,太大会影响MapReduce
• NameNode如果挂了怎么办:设置备用节点,失效后自动激活
• HDFS写流程:

1. 客户端向NameNode发起写数据请求
2. 分块写入DataNode节点,DataNode自动完成副本备份
3. DataNode向NameNode汇报存储完成,NameNode通知客户端

 

• HDFS读流程:

1. 客户端向NameNode发起读数据请求
2. NameNode找出距离最近的DataNode节点信息
3. 客户端从DataNode分块下载文件

• 常用HDFS Shell命令:

1. 类Linux系统:ls,cat,mkdir,rm,chmod,chown等
2. HDFS文件交互:copyFromLocal,copyToLocal,get,put
3. 上传文件:hdfs dfs -copyFromLocal 目标文件 目标路径
4. 下载文件:hdfs dfs -copyToLocal 源文件 目标文件

转载于：https://www.cnblogs.com/limitlessun/p/9416404.html#_label1