大数据与Hadoop之间是什么关系

广义上讲 大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。
“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在《第三次浪潮》首次提出,由麦肯锡公司(McKinsey)最早应用。

image

大数据的特征
1,容量:数据的大小决定所考虑的数据的价值和潜在的信息
2,种类:数据类型的多样性
3,速度:指获得数据的速度
4,可变性:妨碍了处理和有效地管理数据的过程
5,真实性:数据的质量
6,复杂性:数据量巨大,来源多渠道
7,价值:合理运用大数据,以低成本创造高价值

大数据的发展趋势(摘自百科)
1,趋势一:数据的资源化
2,趋势二:与云计算的深度结合
3,趋势三:科学理论的突破
4,趋势四:数据科学和数据联盟的成立
5,趋势五:数据泄露泛滥
6,趋势六:数据管理成为核心竞争力
7,趋势七:数据质量是BI(商业智能)成功的关键
8,趋势八:数据生态系统复合化程度加强

Hadoop是什么?

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣群:458数字345数字782获取学习资源Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

hdfs架构示意图

hdfs架构示意图

MapReduce工作原理图

MapReduce工作原理图

Hadoop生态圈

Hadoop生态圈

大数据需要特殊的技术,无法用单台计算机进行处理,必须采用分布式架构。hadoop只是处理大数据的一种技术。围绕大数据还有其它的技术

大数据和hadoop之间的关系

大数据和hadoop之间的关系

最后总结下:大数据是时代发展的产物,为了应对大数据环境下新的业务需求,相关的分布式存储,分布式计算,大规模分布式数据库等技术,hadoop解决了通过hdfs实现分布式存储,通过mapreduce实现分布式计算。围着hadoop逐步发展出一个hadoop生态圈。 hadoop大数据环境下的一种处理结束。

 

  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页

打赏作者

xyzkenan

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值