浅语:我们学习一门心得技术,肯定好奇它为什么应运而生,因此了解它的背景十分重要。它能解决什么才是它的优势。技术都有过时的时候,不过时的是我们使用手中的技术创造新的技术
1、现状:新时代的数据格式多样化,视频,音频,图像等非结构化的数据,传统数据库无法存储,多样化的数据格式,关系型数据库无法建表
如何解决传统数据库的存储问题?答案是文件存储。把网站的TB级以上数据量保存在一个文件里,通过对文件读操作,实现对大数据的分析,方案是不是很完美,NO,面临一个很实际的问题,读取效率低!
那如何解决文件存储慢的问题,答案是分而治之,采取分布式文件存储!!!
分布式文件系统HDFS的原理就是这样的。Hadoop的核心
采用分布式文件系统HDFS已经解决了大数据的存储问题和读取效率问题,试问,如果存储文件的一个服务器出现了故障,文件被损坏,造成数据的丢失,该如何避免这种情况?答案是备份,至少做3个备份,如下图: