---第1章 初识大数据
- 大数据是一个概念也是一门技术,是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术.
---第2章 Hadoop核心HDFS
- Hadoop是一个开源的大数据框架,是一个分布式计算的解决方案,Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)
- 存储是大数据技术的基础,分布式计算是大数据应用的解决方案
- HDFS基础架构:
- 数据块:是抽象块,一般设置为128MB,备份3个.
- NameNode:主数据块,管理文件系统的命名空间,存放文件元数据,维护文件系统的所有文件和目录,文件与数据块的映射,记录每个文件各个块所在数据节点的信息
- DataNode:从数据块,存储并检索数据块,向NameNode更新所存储块的列表
- HDFS优点:
- 适合大文件存储,并有副本策略
- 可以构建在廉价的机器上,并有一定的容错和恢复机制
- 支持流式数据访问,一次写入,多次读取最高效
- HDFS缺点:
- 不适合大量小文件存储
- 不适合并发写入,不支持文件随机修改
- 不支持随机读等低延时的访问方式
- 数据块的大小多少合适:64MB或128MB,太小会增加硬盘寻道时间,太大会影响MapReduce
- NameNode如果挂了怎么办:设置备用节点,失效后自动激活
- HDFS写流程:
- 客户端向NameNode发起写数据请求
- 分块写入DataNode节点,DataNode自动完成副本备份
- DataNode向NameNode汇报存储完成,NameNode通知客户端
- HDFS读流程:
- 客户端向NameNode发起读数据请求
- NameNode找出距离最近的DataNode节点信息
- 客户端从DataNode分块下载文件
- 常用HDFS Shell命令:
- 类Linux系统:ls,cat,mkdir,rm,chmod,chown等
- HDFS文件交互:copyFromLocal,copyToLocal,get,put
- 上传文件:hdfs dfs -copyFromLocal 目标文件 目标路径
- 下载文件:hdfs dfs -copyToLocal 源文件 目标文件
转载于:https://www.cnblogs.com/limitlessun/p/9416404.html#_label1