HDFS
LlnkTo
这个作者很懒,什么都没留下…
展开
-
HADOOP之HDFS 的数据存储----HDFS内存存储(1)
HDFS 内存存储用机器的内存作为存储数据的载体。内存存储策略:LAZY_PERSIST1.1 HDFS 内存存储原理问题:数据丢失、内存空间有限。方案:异步持久化---在内存存储新数据的同时,持久化距离当前时刻最远的数据。 图 LAZY_PERSIST策略原理图异步存储的大体步骤:对...原创 2019-06-28 19:32:04 · 1461 阅读 · 0 评论 -
HADOOP之HDFS 的数据存储----异构存储(2)
异构存储3.1存储类型:Storage Type: RAM_DISK:内存存储类型 SSD: DISK:硬盘存储类型 ARCHIVE:高密度存储类型 ...原创 2019-06-28 19:39:57 · 645 阅读 · 0 评论 -
HADOOP之HDFS 的数据管理与策略选择----HDFS 缓存与缓存块(1)
HDFS 缓存与缓存块 HDFS缓存用的是缓存块,HDFS缓存块用的是普通的文件块转换而来,也可以转换回去。缓存使用的是DataNode内存作为缓存。 本节以疑问点的形式分析缓存块:物理层面缓存块是怎样的? 缓存块的生命周期状态有哪几种? 哪些情况会触发缓存块、取消缓存块的操作? CacheBlock UnCacheBlock 缓存块如何确定? 系统所持有的缓...原创 2019-06-28 19:56:15 · 528 阅读 · 0 评论 -
HADOOP之HDFS 的数据管理与策略选择----HDFS 中心缓存管理(2)
HDFS 中心缓存管理 中心缓存管理器(CacheManager)和缓存块监控服务(CacheReplicationMonitor)适用场景、中心缓存管理的原理、命令使用。1.HDFS 缓存适用场景公共资源文件 短期临时的热 数据文件2.HDFS 缓存的结构设计 ...原创 2019-06-28 20:06:15 · 363 阅读 · 0 评论 -
HADOOP之HDFS 的数据管理与策略选择----HDFS 快照管理(3)
HDFS 快照管理1.快照概念 原则:只做差异的记录;对于大多数不变的数据,是当前物理路径所指的内容,发生变更的INode数据会被额外的拷贝。2.HDFS 中的快照相关命令hadoop fs[-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshot...原创 2019-06-28 20:10:24 · 341 阅读 · 0 评论 -
HADOOP之HDFS 的新颖功能特性
HDFS 的新颖功能特性1.HDFS 视图文件系统1)ViewFileSystem :视图文件系统ViewFileSystem不是一个新的文件系统,只是逻辑上的一个视图文件系统,在逻辑上是唯一的。总的理解是:将各个集群的真实文件路径与ViewFileSystem内新定义的路径进行关联映射。 ...原创 2019-06-28 20:22:34 · 424 阅读 · 0 评论 -
Hadoop之源码编译环境搭建
环境搭建参考文档:http://www.aboutyun.com/thread-8130-1-1.html错误解析参考文档:http://www.aboutyun.com/thread-12695-1-1.html原创 2019-08-10 17:29:01 · 211 阅读 · 0 评论