大数据与人工智能

                                         **大数据与人工智能**

现当下，大数据与人工智能都是人们十分关注的两个热点关键词。现在我了解到大数据与人工智能本质上是非常相近的。对于“大数据”，研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。人工智能亦称智械、机器智能，指由人制造出来的机器所表现出来的智能。AI的核心问题包括建构能够跟人类似甚至超卓的推理、知识、规划、学习、交流、感知、移物、使用工具和操控机械的能力等。大数据为人工智能提供了理论基础与信息处理途径的方法。
人工智能与大数据一个主要的区别是大数据是需要在数据变得有用之前进行清理、结构化和集成的原始输入，而人工智能则是输出，即处理数据产生的智能。这使得两者有着本质上的不同。在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，于是就产生了一系列可以利用的资源与信息。众所周知，在当下信息高速化的时代中，人工智能是基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现的，大数据是不断采集、沉淀、分类等数据积累。
大数据提供了大量的数据，并且能从大量繁杂的数据中提取或分离出有用的数据，然后供人工智能来使用。即人工智能和机器学习中使用的数据已经被“清理”了，无关的、重复的和不必要的数据已经被清除。这些“清理”工作是由大数据技术来完成或保障的。在无法确定因果关系时，数据为我们提供了解决问题的新方法，数据中包含的信息可以帮助我们消除不确定性，而数据之间的相关性在某种程度上可以取代原来的因果关系，帮助我们得到我们想知道的答案，这便是大数据思维的核心。MapReduce、Bigtable、Go ogle F ile Sy stem都是处理大数据核心算法系统。
其中MapReduce是一个编程模型，它的 工作点在于如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间 必要的通信。MapReduce 编程模型的原理是：利用MapReduce 库的用户用两个函数表达这个计算：Map 和 Reduce。 一个输入 key/value pair 集合来产生一个输出的 key/value pair 集合。MapReduce 库的设计初衷是使用由成百上千的机器组成的集群来处理超大规模的数据，所以，这个MapReduce 库能很好的处理机器故障。MapReduce 可以处理大规模 worker 失效的情况。而Google GFS 文件系统有如下几个特点：首先，与MapReduce 库不同的是组件失效被认为是常态事件，而不是意外事件。其次，以通常的标准衡量，Google GFS 文件系统处理的文件非常巨大。第三，绝大部分文件的修改是采用在文件尾部追加数据，而不是覆盖原有数据的方式。第四，应用程序和文件系统 API 的协同设计提高了整个系统的灵活性。Google 已经针对不同的应用部署了多套 GFS 集群。最大的一个集群拥有超过 1000 个存储节点，超过 300TB 的硬盘空间，被不同机器上的数百个客户端连续不断的频繁访问。Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据，Bigtable 的设计目的是可靠的处理 PB 级别的数据，并且能够部署到上千台机器上。在很多方面，Bigtable 和数据库很类似：它使用了很多数据库的实现策略。Bigtable 是一个稀疏的、分布式的、持久化存储的多维度排序，而且Bigtable 是建立在其它的几个 Google 基础构件上的。通过为 Bigtable 设计的数据模型，使系统极具灵活性。
大数据时代拥有以下几个特点1.数据量大2.类型繁多3.价值密度低4.速度快、时效高。在大数据与人工智能时代拥有着十分多的机遇。大数据产生和存在于各行各业，尽管分析和处理困难，但也可以通过相关性的技术手段对大数据进行统计分析，应用其结果。在每年的双十一中，因为人流量的骤增，在阿里巴巴平台内会对各种交易数据进行处理，对双十一当天的交易情况进行监控、管理或分析、汇总。这些信息的利用与再利用为人们生活提供了极大的便利。总而言之，虽然大数据与人工智能这些技术还仍然处在开发期，但它产生的价值与成就已经为许多人带来了许多的便利，其成效是不言而喻的。我们可以看见微信、淘宝、京东、滴滴，亿万用户的生活衣食住行的细节的把控，已经为企业增添了极大的活力。相信在不久的未来，这门技术将会为更多的人谋求更多的福利。