1.大数据
大数据主要解决,海量数据的采集、存储和分析计算问题。
大数据特点:
Volume(大量):
Velocity(高速):在海量数据面前,处理数据的效率很重要
Variety(多样性):数据可分为结构化数据(数据库/文本)和非结构化数据(音频、视频、图片),这些多类型的数据对数据的处理能力提出了更高的要求。
Value(低价值密度):海量数据中,更多的是一些低价值信息,所以要求我们能够快速对有价值的信息进行提纯。
应用场景:抖音里面的视频推荐、电商网站里面的广告推荐、人工智能
2.Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要用于海量数据的存储和分析计算。
Hadoop有三大发行版本:Apache(2016)、Cloudera(对应产品CDH,2008)、Hortonworks(对应产品HDP,2011)
Hortonworks现在被Cloudera公司收购,推出新产品CDP(需付费)。
Hadoop优势:
高可靠性:Hadoop底层维护多个数据副本
高扩展性:可在集群中动态增加或减少服务器
高效性:在MapReduce的思想下,Hadoop是并行工作的,能加快任务处理速度
高容错性:能够自动将失败的任务重新分配
Hadoop组成