https://www.bilibili.com/video/BV1LU4y1e7Ve/?spm_id_from=333.880.my_history.page.click
Hadoop 、Hive 、Spark 都是大数据相关的系统和技术。
大数据 ,属于 数据管理系统的范畴。
数据管理系统, 数据怎么存+ 数据怎么算。
单机数据管理系统时代,所有的数据在一台服务器上都能存的下
,计算也没有碰到什么瓶颈,
,数据处理的任务都是IO密集型(走内存)
, 不是Cpu密集型(走磁盘)
,更谈不上 分布式系统。
以典型的2U服务器为例,
,配6块硬盘,每块硬盘选4T = 磁盘空间 24T
,配128G的内存
,配2颗CPU
,装 数据库管理系统
这样的服务器,单表处理10亿条的数据,就没什么问题。
-------------------------------------------------------以上为 简单可行的单机方案
进入信息爆炸时代,数据容量越来越大,大到一台机器存不下,
一台存不下,就用10台,
10台存不下,就用100台。
问题就是,我用100台机器去 统一存储数据,那我怎么去做管理呢。
Hadoop生态 = 100台机器集合
HDFS = 统一管理这100台机器上的存储空间