HDFS
文章平均质量分 88
hdfs学习笔记
杨林伟
像火箭科学家一样思考!
展开
-
HDFS将普通用户添加到超级用户组
详细讲解普通用户添加至HDFS超级用户组的流程原创 2022-11-01 21:52:31 · 2770 阅读 · 2 评论 -
HDFS教程(06)- HDFS纠删码
文章目录01 引言02 HDFS纠删码2.1 为何需要纠删码?2.2 纠删码原理2.3 Reed Solomon码2.3 纠删码的优劣势03 其它3.1 块组3.2 连续布局与条形布局04 文末01 引言在前面的教程,我们知道了HDFS的磁盘均衡原理了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》《HDFS教程(03)- HDFS高可用与容错》《HDFS教程(04)- HDFS联邦》《HDFS教程(05)- HDFS磁盘均衡》转载 2022-02-23 18:27:46 · 1173 阅读 · 0 评论 -
HDFS教程(05)- HDFS磁盘均衡
文章目录01 引言02 HDFS磁盘均衡2.1 为何需要磁盘均衡?2.2 磁盘均衡原理2.3 磁盘均衡的使用03 文末01 引言在前面的教程,我们知道了HDFS的联邦机制了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》《HDFS教程(03)- HDFS高可用与容错》《HDFS教程(04)- HDFS联邦》本文接下来主要讲的是HDFS的磁盘均衡。02 HDFS磁盘均衡2.1 为何需要磁盘均衡?在把数据存储到 Datanode原创 2022-02-23 18:02:47 · 1679 阅读 · 0 评论 -
HDFS教程(04)- HDFS联邦
文章目录01 引言02 HDFS联邦2.1 HDFS联邦概述2.2 为何需要HDFS联邦?2.2.1 旧架构的缺陷2.2.2 HDFS Federation 2.3 HDFS联邦案例2.3.1 原理2.3.2 举例03 文末01 引言在前面的教程,我们知道了HDFS的高可用和容错机制了,有兴趣的同学可以参阅:《HDFS教程(01)- 初识HDFS》《HDFS教程(02)- HDFS命令汇总》《HDFS教程(03)- HDFS高可用与容错》本文接下来主要讲的是HDFS联邦。02 HDFS联邦原创 2022-02-23 17:47:17 · 1108 阅读 · 0 评论 -
HDFS教程(03)- HDFS高可用与容错
文章目录01 引言02 HDFS高可用2.1 DataNode高可用2.1.1 DataNode高可用概述2.2.2 DataNode高可用原理2.2 NameNode高可用2.2.1 NameNode高可用概述2.2.2 NameNode高可用实现原理2.2.2.1 隔离(fencing)2.2.2.1 共享存储(QJM)03 HDFS容错3.1 HDFS容错概述3.2 HDFS容错原理04 文末01 引言在前面的教程,我们对HDFS有一个简单的认识以及会使用它的命令了,有兴趣的同学可以参阅:《H原创 2022-02-23 17:02:22 · 1593 阅读 · 0 评论 -
HDFS教程(01)- 初识HDFS
文章目录01 引言02 HDFS概述2.1 HDFS定义2.2 HDFS优缺点03 HDFS架构3.1 NameNode管理者3.2 DataNode执行者3.3 Client客户端3.4 Secondary NameNode辅助者3.5 Block块3.6 机架感知04 HDFS读写流程4.1 写流程4.2 读流程05 文末01 引言由于接下来需要用到hdfs的技术,从本篇开始,有关hdfs的学习笔记都会记录到《HDFS专栏》专栏。接下来,开始我们愉快的Hdfs学习之旅!02 HDFS概述2.1原创 2022-02-23 15:39:07 · 1245 阅读 · 0 评论 -
HDFS教程(02)- HDFS命令汇总
文章目录01 引言02 HDFS安装03 HDFS命令汇总3.1 新增操作3.1.1 创建文件夹(mkdir命令)3.1.2 文件上传(put命令)3.1.3 文件复制(cp命令)3.1.4 移动文件(mv命令)3.1.5 创建空文件(touchz命令)3.2 删除操作3.2.1 删除文件夹(rmdir命令)3.2.2 删除文件(rm命令)3.2.3 清空回收站(expunge命令)3.3 查看操作3.3.1 获取文件(get 命令)3.3.2 查看文件(ls、du、df、cat、tail 命令)3.3.3原创 2022-02-23 16:18:53 · 1749 阅读 · 0 评论