![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
喜讯XiCent
这个作者很懒,什么都没留下…
展开
-
hdfs详细介绍
之前有人问我,“我放了一个***.avi在linux服务器上,你肯定找不到嘻嘻”。登上去发现etc文件夹大了好几个G。。。。你4不4撒,你为什么不把avi切成多块,放到不同服务器上,这谁能发现呢??1. HDFS前言上面开个玩笑,hdfs实际上不是让我们当作网盘来使用的。● 设计思想 ○ 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据...原创 2019-06-27 19:18:25 · 1303 阅读 · 0 评论 -
手把手搭建Hadoop-HA高可用分布式文件系统
背景根据我们之前搭建的hadoop集群,都只有一个namenode,一个resourcemanager。一旦namenode挂了,整个hdfs就废了,因为namenode负责着元数据信息的管理,响应客户端。如果是resourcemanager挂了,那么yarn也是废了,无法尽心资源调度,没办法跑mapreduce,spark等运算框架。这种情况下就急需一个高可用的hadoop集群前提...原创 2019-08-26 18:33:55 · 1231 阅读 · 0 评论