大数据生态环境及spark简介

1.大数据是什么
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
2.大数据的特点
大数据的五大特征：1、大量；2、高速；3、多样；4、低价值密度；5、真实性。
3.大数据的价值
大数据最核心的价值就是在于对于海量数据进行存储和分析；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
4.大数据的好处
大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。

大数据关键技术

1.数据采集
2.数据存储和管理
3.数据处理与分析
4.数据隐私和安全
大数据的俩大核心技术是GFS\HDFS和MapReduce

大数据的计算模式

批处理计算、流计算 、图计算、查询分析计算

代表性大数据技术

Hadoop、Spark、Flink、Beam

Spark简介

Spark