2021-03-03

一、大数据生态
1.大数据的概念
大数据不仅仅是数据的“大量化”,而是包含“快速化”、“多样化”和“价值化”等多重属性
2.大数据的特点
(1)数据量大
根据IDC做出估测,数据一直都以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)
(2)数据类型繁多
大数据是由结构化和非结构化数据组成的10%的结构化数据,存储在数据库中90%的非结构化数据,他们与人类信息密切相关
(3)处理速度快
从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间非常少
1秒定律:这一点也是和传统的数据挖掘技术有着本质的不同
(4)价值密度低
以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业价值
3.大数据的影响
图灵奖获得者,著名数据库专家Jim Gray博士观察并总结人类自古以来,在科学研究上,先后经历了实验、理论、计算和数据四种范式
在思维方式方面,大数据完全颠覆了传统的思维方式:全样而非抽象,效率而非精确,相关而非因果
二、Spark简介
1.Spark的特点
(1)运行速度快
使用DAG执行引擎以支持循环数据流与内存计算
(2)容易使用
支持使用Scala、Java、Python和R语言进行编程,可以通过Spark Shell进行交互式编程(3)通用性
Spark提供了完整而强大的技术栈,包括SQL查询、流式计算、机器学习和图算法组
(4)运行模式多样
可运行于独立的集群模式中,可运行于Hadoop中,也可运行于Amazon EC2等云环境中,并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源
2.Hadoop与Spark的对比
(1)Spark在借鉴Hadoop MapReduce优点的同时,很好的解决了MapReduce所面临的问题
(2)相比于Hadoop MapReduce,Spark的计算模式也属于MapReduce,但不局限于Map和Reduce操作,还提供了多种数据集操作类型,编程模型比Hadoop MapReduce更灵活Spark提供了内存计算,可将中间结果放到内存中,对于迭代运算效率更高 Spark基于DAG的任务调度执行机制,要优于Hadoop MapReduce的迭代执行机制使用Hadoop进行迭代计算非常消耗资源Spark将数据载入内存后,之后的迭代计算都可以直接使用内存中的中间结果做运算,避免了从磁盘中频繁读取数据。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页