Hadoop 、Hive 、Spark概念

https://www.bilibili.com/video/BV1LU4y1e7Ve/?spm_id_from=333.880.my_history.page.click
Hadoop 、Hive 、Spark 都是大数据相关的系统和技术。
大数据 ,属于 数据管理系统的范畴。
数据管理系统, 数据怎么存+ 数据怎么算。

单机数据管理系统时代,所有的数据在一台服务器上都能存的下
,计算也没有碰到什么瓶颈,
,数据处理的任务都是IO密集型(走内存)
, 不是Cpu密集型(走磁盘)
,更谈不上 分布式系统。
以典型的2U服务器为例,
,配6块硬盘,每块硬盘选4T = 磁盘空间 24T
,配128G的内存
,配2颗CPU
,装 数据库管理系统
这样的服务器,单表处理10亿条的数据,就没什么问题。
-------------------------------------------------------以上为 简单可行的单机方案

进入信息爆炸时代,数据容量越来越大,大到一台机器存不下,
一台存不下,就用10台,
10台存不下,就用100台。
问题就是,我用100台机器去 统一存储数据,那我怎么去做管理呢。

Hadoop生态 = 100台机器集合
HDFS = 统一管理这100台机器上的存储空间

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值