hadoop的发展和介绍

本文概述了Hadoop的发展历程、核心特性及其在大数据处理中的作用。Hadoop是一个分布式文件系统,支持高容错性和高吞吐量的数据访问。其核心包括HDFS和MapReduce,适用于大规模数据集的应用。文章还介绍了Hadoop的高可靠性、高扩展性、高效性和高容错性特点,以及在360、京东、百度等公司的应用案例。
摘要由CSDN通过智能技术生成

今天整好有这个时间,我就整理整理一下hadoop相关的资料,想初步简略的谈一下hadoop的发展史和应用情况。

说到hadoop不得不说一下大数据。

什么是大数据?

网上搜了一圈基本都是说数据量大,有价值的数据就叫大数据,这么说也不错,但是很抽象,很笼统,我总结了一下大数据最起码具备四个方面的特征:

第一:体量大(volume)数据规模庞大,传统的数据库无法存储和计算,而且直接原因是非结构化的数据的超大规模增长。

第二:多样性(variety) 大数据的异构性和多样性,庞大体量的数据他们的存在是不同形式的(文本,图像,视频,机器数据等,有模式或者模式不是很明显的)。

第三:数据价值密度(value)这些大体量的数据蕴含着对业务对未来趋势与模式的可预测分析的价值,提供深度分析,机器学习和人工智能的基础。

第四:速度(velocity)如果仅仅是这些数据放在那里对我们业务或者未来一点作用都没有,必须要能提供快速批量甚至实时的分析。

最后总结一下:大数据就是体量庞大,存储形态各异,蕴含着对现有业务状态的分析以及未来趋势预测的高价值数据,我们能够应用这些数据,进行批量处理分析,机器挖掘,人工智能等实现对业务提升或者对未来趋势的预测等有价值的成果输出。

大数据已经不再是静态的数据,而是安装了大脑的能完成决策和成果输出的有机体。

hadoop生态体系架构的就是大数据的大脑。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值