大数据行业调研报告（最新版）

一、行业概述
二、大数据的认识
    2.1大数据含义
    2.2大数据特点
三、大数据发展历程
四、就业分析
    4.1就业前景
    4.2就业职位
五、大数据威胁分析
六、未来发展趋势
七、总结

一、行业概述
        随着物联网、云计算等技术不断融入我们的生活，数据容量不断扩张，互联网作为信息传播和再生的平台，“信息泛滥”、“数据爆炸”等现象不绝于耳；信息冗余、信息真假、信息安全、信息处理及信息统一等问题随着大数据给人们带来价值的同时也造成了一系列问题。
        人们需要有效地解决海量数据的利用问题，从中提取有价值的信息，也认识到海量数据具有研究价值和经济利益；根据海量的数据规模实时分析并迅速反馈结果，从结果中精准提取出隐含在其中有价值的信息，再将挖掘所得到的信息转化成有组织的知识以模型等方式表示出来，从而将分析模型应用到现实生活中，提高生产效率、优化营销方案等。
二、大数据的认识
2.1大数据含义
        大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2.2大数据特点
（1）Volume（巨大的海量数据）：数据量大，包括采集、存储和计算的量都特别大，起始计量单位至少是P（1000T）。
（2）Variety（非结构化数据多样性）：种类和来源多样化，包括结构化、半结构化和非结构化数据，如网络日志、音频、视频及地理位置信息等，多类型的数据对数据的处理功能提出了更高的要求。
（3）Value（数据的价值性）：数据价值密度相对较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是首要解决的问题。
（4）Velocity（数据增长速度快）：数据增长速度快，处理速度也快，时效性要求高。
（5）Vercity（数据的真实性）：数据的准确性和可依赖度，即数据的质量。
三、大数据发展历程
（1）萌芽阶段：20世纪90年代到21世纪，随着数据挖掘理论和数据库技术的成熟，一些商业智能工具和知识管理技术开始被应用。
（2）突破阶段：2003年-2006年，社交网络的流行导致大量非结构化数据涌现，传统处理方式难以应对，数据处理系统、数据库架构重新构建。
（3）成熟阶段：2006年-2009年，大数据形成并行计算、分布式系统及开源分布式架构，这期间大数据的焦点是性能。
（4）应用阶段：2009年至今，大数据基础技术成熟之后，学术界及企业级纷纷转向应用研究，2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会各个领域渗透；大数据技术彻底被社会各领域大规模应用。
        大数据产业进入高质量发展阶段，2018年，政府及各个行业非结构化数据呈爆发式增长，对数据资产运营与管理的复杂度要求更高；社会经济各领域对大数据服务的需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，多个大数据产业集群将崛起，大数据产业将进入高质量发展的新阶段。
四、就业分析
4.1就业前景
        现代时代是大数据时代，也是人才稀缺的时代。由于中国人才缺口较大，大数据迅速成为行业和市场的热点，更多的企业无论是对人才的招聘还是在培训都成了刚需，这促使大数据人才的薪资在同岗位中是最高的；大数据的就业领域很宽广，不管是科技领域，还是食品产业，零售业等，都需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，预测需求。
4.2就业职位
（1） Hadoop开发工程师
        负责大数据平台需求分析，设计及代码编写，软件架构看护；负责大数据Hadoop平台长期技术演进分析及落地，提升解决方案竞争力；负责在网大数据管理平台的维护；负责Hadoop内核问题分析，定位，修改及开源社区的动态跟踪。

（2）数据分析师
        数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜索、整理、分析，并依据数据做出行业研究、评估和预测的专业人员； 深入了解业务和项目，构建业务分析维度和逻辑；根据业务的需要，进行数据报表开发，提供业务的数据报表；整理项目中所需的项目文档，结合业务需求及时更新、完善数据，优化已有报表，提升数据质量。

（3）数据挖掘工程师
        做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等；具有丰富的数据加工处理经验，对数据处理、数据清洗、数据建模、数据分析等有深刻认识和实战经验。

（4）大数据可视化工程师
        Web数据可视化技术的研究与开发，数据相关性分析与根因分析，大数据PaaS平台的开发、部署、运维和实施，支持客户需求分析和数据分析。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是必不可缺少的。

五、大数据威胁分析
        首先，网络基础设施及基础软硬件系统受制于人。大数据平台依托于互联网面向政府、企业及广大公众提供服务，但我国互联网从基础设施层面即已存在不可控因素。另外，我国对大数据平台的基础软硬件系统也未完全实现自主控制。在能源、金融、电信等重要信息系统的核心软硬件实施上，服务器、数据库等相关产品皆由国外企业占据市场垄断地位。
        其次，网站及应用漏洞、后门层出不穷。据我国安全企业网站安全检测服务统计，我国高达60%的网站存在安全漏洞和后门。可以说，网站及应用系统的漏洞是大数据平台面临的最大威胁之一。而我国的各类大数据行业应用，广泛采用了各种第三方数据库、中间件，但此类系统的安全状况不容乐观，广泛存在漏洞。更为堪忧的是，各类网站漏洞修复的情沉难以令人满意。
        第三，系统问题之外，网络攻击手段更加丰富。其中，终端恶意软件、恶意代码是黑客或敌对势力攻击大数据平台、窃取数据的主要手段之一。目前网络攻击越来越多地是从终端发起的，终端渗透攻击也已成为国家间网络战的主要方式。另外，针对大数据平台的高级持续性威胁(简称APT)攻击非常常见。APT攻击非常具有破坏性，是未来网络战的主要手段，也是对我国网络空间安全危害最大的一种攻击方式。近年来，具备国家和组织背景的APT攻击日益增多，毫无疑问，大数据平台也将成为APT攻击的主要目标。
六、未来发展趋势
        大数据技术目前正处在落地应用的初期，从大数据自身发展和行业发展的趋势来看，大数据未来的前景非常好，具体原因有以下几点：
        第一：大数据自身能够创造出更多的价值。大数据相关技术紧紧围绕数据价值化展开，数据价值化将开辟出广大的市场空间，重点在于数据本身将为整个信息化社会赋能。随着大数据的落地应用，大数据的价值将逐渐得到体现。目前在互联网领域，大数据技术已经得到了较为广泛的应用。
        第二：大数据推动科技领域的发展。大数据的发展正在推动科技领域的发展进程，大数据的影响不仅仅体现在互联网领域，也体现在金融、教育、医疗等诸多领域。在人工智能研发领域，大数据也起到了重要的作用，尤其在机器学习、计算机视觉和自然语言处理等方面，大数据正在成为智能化社会的基础。
        第三：大数据产业链逐渐形成。经过近些年的发展，大数据已经初步形成了一个较为完整的产业链，包括数据采集、整理、传输、存储、分析、呈现和应用，众多企业开始参与到大数据产业链中，并形成了一定的产业规模，相信随着大数据的不断发展，相关产业规模会进一步扩大。
        第四：产业互联网将推动大数据落地。当前互联网正在经历从消费互联网向产业互联网过渡，产业互联网将利用大数据、物联网、人工智能等技术来赋能广大的传统产业，可以说产业互联网的发展空间非常大，而大数据则是产业互联网发展的一个重点，大数据能否落地到传统行业，关乎产业互联网的发展进程，所以在产业互联网阶段，大数据逐渐落地。
七、总结
        现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据设计领域广泛，在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。社会经济各领域对大数据服务的需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，多个大数据产业集群将崛起，大数据产业将进入高质量发展的新阶段。但在高科技领域，人才稀少，高薪资，吸引许多其他行业骨干人才；由于大数据涉及各个领域，需招收大量工作人员，这也给应届毕业生提供了就职的岗位。