- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop_HDFS_NameNode工作机制的学习
1.第一阶段：NameNode开机上线（1）将edits_inprogress_001和fsimage加载到内存中（2）client客户端向NameNode发送操作请求（3）先将操作请求更新到日志中（4）对内存中的数据进行操作2.第二阶段：Secondary NameNode开启工作（1）向NameNode发送CheckPoint请求 CheckPoint触发条件： 1.定时时间到（默认1小时） 2.edits中数据存满...
2021-09-02 21:26:16
132
原创 Hadoop_HDFS_读取流程学习
1.客户端创建分布式文件系统对象向NameNode发送下载请求2.NameNode收到请求后,NameNode会:(1)检查客户端权限(2)检查自身是否有客户端需要下载的文件.当条件满足时会返回目标文件的元数据信息(即目标文件所含物理块和存储的DataNode位置)。3.客户端接受到元数据信息后便创建读取流进行读取,其遵循:(1)串行读取,即先读取blk_1,再读取blk-2....(2)优先从节点最近的DataNode读取(3)考虑负载均衡,即当节点最近的Data...
2021-09-02 20:28:46
141
原创 hadoop:hdfs：删除文件、文件夹等常用命令
配置环境变量后上传文件/文件夹到hdfs：#上传文件到hdfs[root@doit1 y]# hdfs dfs -put 文件名 /#上传文件夹到hdfs[root@doit1 y]# hdfs dfs -put 文件夹名 /删除hdfs上的文件/文件夹#从hdfs上删除文件[root@doit1 y]# hdfs dfs -rm -r /b.txt #从hdfs上删除文件夹[root@doit1 y]# hdfs dfs -rm -r -skipTrash /d添
2021-09-01 21:31:43
25282
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人