spark概述

第二章 spark概述

内容提要

1. 大数据背景
2. spark介绍

 

 

  一、大数据行业背景

  1、大数据时代背景

随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是2016年12月麦肯锡全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、美国零售业、制造业、欧盟公共部门及美国健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、谷歌、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。2011年全球的数据储量就达到1.8ZB，与2011年相比2015年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。梅西百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业摩尔玛通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。

大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与云计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对内蒙古乃至全国的大数据研究具有深刻而广泛的意义。

  2、国内外相关研究现状

       大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化信息资产。大数据充斥着人类经济社会的角角落落，正是因为大数据巨大的商业价值，国内外学者从理论、技术及实践进行了深入的研究。托夫勒在1980年就认为大数据是“第三次浪潮的华彩乐章”，IBM提出大数据有5V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。2012年Gartner认为，不到两年时间大数据将成为新技术发展的热点，海量和多样化的信息资产使得大数据需要新的处理模式，才能为数据信息使用者提供有效的信息，使得企业洞察危险的能力增强，流程得以优化，决策更加准确。Victor在其最新著作《大数据时代--生活、工作与思维的大变革》中指出，大数据时代要想得到有价值的信息，要从总体而不是少量数据样本分析与实务相关的所有数据。更加注重数据之间的相关关系，乐于加收纷繁复杂的数据，而不再探求难以捉摸的因果关系和追求数据的精确性。欧盟在其公布的《数字议程》中指出公共数据的市场价值约有320亿欧元，公共数据的开放和再利用可以产生新的商业和工作机会。开放性、公共数据，增加政府的开放和透明度可以给人们同更多的选择机会和更有价值的商品。英国非常重视大数据技术的开发与研究，政府为发展8类高新技术注资6亿英镑支持有关机构和研发工作，重点研发信息行业新兴的大数据技术。

• spark<