大数据和人工智能概念全面解析

                                                                       

               

一、大数据和人工智能

 

大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求，使数据能够从量变到质变，真正产生价值。随着大数据的发展，其应用已经渗透到农业、工业、商业、服务业、医疗领域等各个方面，成为影响产业发展的一个重要因素。

当前人们所说的人工智能，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用系统的一门新的技术科学，是由人工制造出来的系统所表现出来的智能。

   传统人工智能受制于计算能力，并没能完成大规模的并行计算和并行处理，人工智能系统的能力较差。2006年，Hinton教授提出“深度学习”神经网络使得人工智能性能获得突破性进展，进而促使人工智能产业又一次进入快速发展阶段。“深度学习”神经网络主要机理是通过深层神经网络算法来模拟人的大脑学习过程，通过输入与输出的非线性关系将低层特征组合成更高层的抽象表示，最终达到掌握运用的水平。数据量的丰富程度决定了是否有充足数据对神经网络进行训练，进而使人工智能系统经过深度学习训练后达到强人工智能水平。因此，能否有足够多的数据对人工神经网络进行深度训练，提升算法有效性是人工智能能否达到类人或超人水平的决定因素之一。

如果你想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。

随着移动互联网的爆发，数据量呈现出指数级的增长，大数据的积累为人工智能提供了基础支撑。同时受益于计算机技术在数据采集、存储、计算等环节的突破，人工智能已从简单的算法+数据库发展演化到了机器学习+深度理解的状态。

 

二、人工智能产业及生态

 

按产业链结构划分，人工智能可以分为基础技术层、AI技术层和AI应用层。基础技术层主要聚焦于数据资源、计算能力和硬件平台，数据资源主要是各类大数据，硬件资源包括芯片研发、存储设备开发等。AI技术层着重于算法、模型及可应用技术，如计算智能算法、感知智能算法、认知智能算法。AI应用层则主要关注将人工智能与下游各领域结合起来，如无人机、机器人、虚拟客服、语音输入法等。

图1 人工智能产业链

 

 

资料来源：中国产业信息网，《2017年中国人工智能行业发展概况及未来发展趋势分析》

 

（一）基础技术层

 

1.1 大数据

数据资源是机器学习训练的基本素材，通过对于数据的学习，机器能不断积累经验和优化决策参数，逐渐变得更贴近人类智能。

从数据流动方向的角度来看，大数据的产业链可分为底层平台、处理分析、应用三个层次。底层平台由基础设施与数据资产池构成，主要提供数据采集、分享和交易服务，处理分析则是在原始数据的基础上对数据进行清洗后以不同方式呈现。在数据处理分析的基础之上，挖掘各行业的数据需求，最终为用户提供服务。

根据数据应用程度不同，大数据产业链下各参与方功能可细分为数据标准与规范化、数据采集、数据安全、数据储存与管理、数据分析与挖掘、数据运维和数据运用七个方面。 

1.2 计算能力和硬件平台

数据资源、核心算法、运算能力是人工智能的三大核心要素。随着全球移动互联网和物联网等快速发展，人类可获取利用的数据正以爆炸式增长。海量的大数据通过最新的深度学习技术将为人工智能的发展与应用带来难以估量的价值，而运算能力提升是人工