今天整好有这个时间,我就整理整理一下hadoop相关的资料,想初步简略的谈一下hadoop的发展史和应用情况。
说到hadoop不得不说一下大数据。
什么是大数据?
网上搜了一圈基本都是说数据量大,有价值的数据就叫大数据,这么说也不错,但是很抽象,很笼统,我总结了一下大数据最起码具备四个方面的特征:
第一:体量大(volume)数据规模庞大,传统的数据库无法存储和计算,而且直接原因是非结构化的数据的超大规模增长。
第二:多样性(variety) 大数据的异构性和多样性,庞大体量的数据他们的存在是不同形式的(文本,图像,视频,机器数据等,有模式或者模式不是很明显的)。
第三:数据价值密度(value)这些大体量的数据蕴含着对业务对未来趋势与模式的可预测分析的价值,提供深度分析,机器学习和人工智能的基础。
第四:速度(velocity)如果仅仅是这些数据放在那里对我们业务或者未来一点作用都没有,必须要能提供快速批量甚至实时的分析。
最后总结一下:大数据就是体量庞大,存储形态各异,蕴含着对现有业务状态的分析以及未来趋势预测的高价值数据,我们能够应用这些数据,进行批量处理分析,机器挖掘,人工智能等实现对业务提升或者对未来趋势的预测等有价值的成果输出。
大数据已经不再是静态的数据,而是安装了大脑的能完成决策和成果输出的有机体。
hadoop生态体系架构的就是大数据的大脑。