hdfs
hdfs学习笔记
summonAstra
这个作者很懒,什么都没留下…
展开
-
hadoop-HDFS操作-shell端-java端需要的依赖-简单案例-修改idea格式化代码快捷键
1 shell端就是在linux虚拟机上操作HDFS常用命令如下:List item原创 2020-08-26 23:24:47 · 222 阅读 · 0 评论 -
hadoop-HDFS简介-部分原理介绍
1 HDFS架构HDFS采用主从架构主节点 : NameNode 文中简称NN从节点 : DataNode 文中简称DN1.1 NameNode存储元数据 , 记录用户操作的日志接收NN节点的注册 , 向DN分配集群ID(clusterID) , 指定存储数据的目录接收客户端的请求 , 向客户端返回元数据或响应维护集群的负载均衡 , 维护数据副本个数监控DN的心跳信号 , 接收DN的汇报 , 更新元数据 , 向DN分配复制副本的任务提供统一的虚拟目录供用户访问1.2 DataNod原创 2020-08-22 23:57:26 · 163 阅读 · 0 评论 -
hadoop特点-组成
1. hadoop特点高可靠性 , 数有多份副本存储在不同的机器上 , 保证数据的安全可靠高容错性 , 数据有多个副本 , 当机器宕机时 , 会自动复制副本到其他机器上 , 维持副本个数 , 自动分配失败的任务高扩展性 , 运算资源存储容量不足时可以横向扩展机器节点来增加低成本 , hadoop可以运行在价格低廉的机器上2. hadoop组成hdfs : 以文件为单位的分布式文件系统 , 用于存储海量的数据mapreduce : 分布式运算编程框架 , 解决海量数据的分布式运算Yarn原创 2020-08-22 15:04:43 · 2531 阅读 · 0 评论