hdfs
hdfs
艾斯比的日常
简单,快乐,分享
展开
-
hdfs 元数据的维护策略
元数据的维护策略 在内存合并元数据 记录操作到 edits 日志 (操作记录) 定时把 edits 日志刷新到到 fsimage 文件 (元数据信息日志) 原因: 磁盘特性, 追加文件快, 修改文件慢原创 2022-01-17 01:06:18 · 1347 阅读 · 0 评论 -
hdfs优缺点
优点 可存储数据量支持 TB 甚至 PB 级数据 容错性, 当某个 datanode 节点不可用时, 会在其他 datanode 生成新的副本 环境要求小, 可构建在廉价的 linux 机器上 缺点 不适用低延迟的数据查询 不适用大量的小文件, 会比较占用 namenode 的元数据存储 不支持同时对同一文件多线程写入 文件只能追加不能修改 ...原创 2022-01-02 00:35:25 · 393 阅读 · 0 评论 -
hdfs 的安全模式
hdfs 的安全模式理解为 hdfs 的只读模式 当 namenode 启动时, datanode 还没还得及上报块位置信息 当达到最小副本数 (默认 1) 的块位置信息占所有块位置信息超过 99.9% 时, 30s 后, namenode 退出安全模式, 即可正常写入文件 ...原创 2021-12-30 23:17:45 · 2607 阅读 · 0 评论 -
hdfs 读写流程
读流程 client 请求 namenode 读取文件 namenode 返回该文件对应的元数据信息, 包含 datanode 列表 client 请求每个 block 对应的 datanode 使用 FSDataInputStream 下载文件 调用 close 关闭流 写流程 client 请求 namenode 写文件 namenode 返回允许写入 client 本地分好 block, 请求 namenode 写入第一个 block namenode 返回分配的 datanode 列表原创 2021-12-30 01:23:48 · 365 阅读 · 0 评论