hadoop
hadoop学习
Cdashuai
这个作者很懒,什么都没留下…
展开
-
Hadoop_HDFS_读取流程学习
1.客户端创建分布式文件系统对象向NameNode发送下载请求2.NameNode收到请求后,NameNode会:(1)检查客户端权限(2)检查自身是否有客户端需要下载的文件.当条件满足时会返回目标文件的元数据信息(即目标文件所含物理块和存储的DataNode位置)。3.客户端接受到元数据信息后便创建读取流进行读取,其遵循:(1)串行读取,即先读取blk_1,再读取blk-2....(2)优先从节点最近的DataNode读取(3)考虑负载均衡,即当节点最近的Data...原创 2021-09-02 20:28:46 · 141 阅读 · 0 评论 -
hadoop:hdfs:删除文件、文件夹等常用命令
配置环境变量后上传文件/文件夹到hdfs:#上传文件到hdfs[root@doit1 y]# hdfs dfs -put 文件名 /#上传文件夹到hdfs[root@doit1 y]# hdfs dfs -put 文件夹名 /删除hdfs上的文件/文件夹#从hdfs上删除文件[root@doit1 y]# hdfs dfs -rm -r /b.txt #从hdfs上删除文件夹[root@doit1 y]# hdfs dfs -rm -r -skipTrash /d添原创 2021-09-01 21:31:43 · 25284 阅读 · 2 评论 -
Hadoop_HDFS_NameNode工作机制的学习
1.第一阶段:NameNode开机上线(1)将edits_inprogress_001和fsimage加载到内存中(2)client客户端向NameNode发送操作请求(3)先将操作请求更新到日志中(4)对内存中的数据进行操作2.第二阶段:Secondary NameNode开启工作(1)向NameNode发送CheckPoint请求 CheckPoint触发条件: 1.定时时间到(默认1小时) 2.edits中数据存满...原创 2021-09-02 21:26:16 · 132 阅读 · 0 评论