hdfs
poppy_rain
为天地立心为生民立命为往圣继绝学为万世开太平
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hdfs:端口、启动、命令
1. 端口 50070 2. hdfs是分布式文件系统,文件在物理上分块存储,块大小默认128M。 一次写入多次读出,不支持修改。 3. hdfs分为NameNode和DataNode NameNode(nn)主节点:管理元数据(维护目录树)、响应请求。 元数据:数据块的id,数...原创 2019-01-15 22:54:43 · 4594 阅读 · 0 评论 -
hdfs:NameNode、DataNode
hdfs集群分为两大角色:NameNode和DataNode NameNode (nn)主节点:管理元数据(维护目录树)、响应请求。 元数据:数据块的id,数据块所在服务器,数据块的副本数,文件的路径(目录树)。 Secondary NameNode:检查点节点 DataNode(dn)从节点:管理数据块(数据块默认3备份)、定期向nn汇报自己持有的块信息(通过心跳信息汇报,默认3秒)。 ...原创 2019-01-16 00:44:01 · 476 阅读 · 0 评论 -
hdfs:写数据、读数据流程
写数据(上传文件)流程 客户端(client)向namenode(nn)请求上传文件 nn查看目录树,检查目录是否存在、文件是否存在 nn返回是否可以上传 (可以上传)client告诉nn,要上传数据块1(block1) nn查看datanode(dn)信息池,选出三台dn(一般就近随机一台、本机架一台、另一个机架一台) client请求dn1上传数据(建立pipeline连接),dn...原创 2019-01-16 01:25:24 · 390 阅读 · 0 评论
分享