【无标题】

大数据定义
维基百科给出了大数据的定义。维基百科认为，大数据是指在承受的时间范围内使用通常的软件工具捕获和管理的数据集合。大数据是一种大规模的数据集合，在过去的存储和管理分析中远远超过传统软件，因此称为大数据。简单来说，大数据就是规模很大的数据。大数据的核心价值在于存储和分析海量数据;大数据技术的战略意义不在于掌握大量数据信息，而在于专业处理这些有意义的数据。换句话说，如果把大数据比作一个行业，这个行业盈利的关键在于提高数据的加工能力，通过加工实现数据的增值。大数据可以实现的应用可以概括为两个方向，一个是正确的定制，另一个是预测。比如通过搜索引擎搜索同样的内容，每个人的结果都很不一样。比如精准营销，百度推广，淘宝的喜欢推荐，或者你去一个地方自动推荐给你周边的消费设施等等。大数据特征1、规模性随着信息化技术的高速发展，数据开始爆发性增长。大数据中的数据不再以几个GB或几个TB为单位来衡量，而是以PB(1千个T)、EB(1百万个T)或ZB(10亿个T)为计量单位。2、多样性多样性主要体现在数据来源多、数据类型多和数据之间关联性强这三个方面。数据来源多，企业所面对的传统数据主要是交易数据，而互联网和物联网的发展，带来了诸如社交网站、传感器等多种来源的数据。而由于数据来源于不同的应用系统和不同的设备，决定了大数据形式的多样性。大体可以分为三类：一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强;二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系;三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据间的因果关系弱。数据类型多，并且以非结构化数据为主。传统的企业中，数据都是以表格的形式保存。而大数据中有70%-85%的数据是如图片、音频、视频、网络日志、链接信息等非结构化和半结构化的数据。数据之间关联性强，频繁交互，如游客在旅游途中上传的照片和日志，就与游客的位置、行程等信息有很强的关联性。3、高速性这是大数据区分于传统数据挖掘最显著的特征。大数据与海量数据的重要区别在两方面：一方面，大数据的数据规模更大;另一方面，大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。4、价值性尽管企业拥有大量数据，但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值巨大。由于大数据中有价值的数据所占比例很小，而大数据真正的价值体现在从大量不相关的各种类型的数据中。挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，并运用于农业、金融、医疗等各个领域，以期创造更大的价值。云计算定义云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。如何认识云计算云计算的核心是“服务”，针对于不同的需求提供不同的“服务”，更简便一点说，云计算能够通过互联网为用户提供廉价的计算资源服务。云计算与大数据、物联网并称为第三次信息化浪潮的代表技术。云计算把服务分成三个大的层次，分别是IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）云计算的三个特点如下：1、服务无处不在用户只需要一台具备基本计算能力的计算设备以及一个有效的互联网连接，就可以随时随地使用该服务。从这个意义来讲，任何联网的应用，都具备成为云计算平台的潜力。2、具备进入成本用户具备使用该服务的需求，但是并不具备独立提供该服务的经济或者技术条件。譬如说某些企业需要定期地进行大规模的运算，但是并不值得专门为此购置一台具备大规模运算能力的计算设备。超算中心通过发展客户群让多个用户来分担超级计算机的成本，使得其用户能够在不拥有计算设备的情况下以较小的成本完成计算任务。3、用户决定应用云计算平台提供计算能力（包括处理器、内存、存储、网络接口），但是并不关心用户的应用类型。用户利用云计算平台所提供的计算能力，并且充分考虑云计算平台所设定的（技术和经济）限制，开发出丰富多彩的应用。云计算为什么叫云云计算范围大，计算能力强，网络虚浮而像云。云计算（CloudComputing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。现阶段的云计算通过不断进步，已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。云计算关键技术有哪些？虚拟化技术实现云计算的重要技术支持就是虚拟化技术。虚拟化技术实现了物理资源的逻辑抽象和统一表示，产生了一个虚拟(非实在)的东西，各种不同的软硬件资源就可以形成一个虚拟的资源池，用户和业务应用就能更有效地使用这个资源池，通过虚拟化技术可以提高资源的利用率，且能够按照用户需求变化，快速有效地进行资源部署。数据存储技术从安全、经济适用的角度来看，分布式存储方式无疑是云存储的最佳选择，采用多个副本存储同一数据或采用多份备份法，在服务上则采取并行的方法为用户提供所需服务，此外，高传输率也是云计算数据存储技术的一大特色。目前，采用这种数据存储技术的服务商有Google、英特尔等。大规模数据管理技术云技术能对海量的数据进行处理、利用的前提是，数据管理技术必须具备高效的管理大量的数据的能力。目前，云计算系统中的数据管理技术主要是Google的Big Table数据管理技术和Hadoop开发的开源数据管理模块HBase。编程模型要使用户能够简便、轻松的获取云环境下的编程服务，编程模型必须具备简洁易操作的性能，那样，用户只要通过简单程序编写就能达成既定的目标。此外，编程模型后台复杂的并行执行、任务调度向用户和编程人员保持透明，又是该服务的一大特色。例如Google构造的Map Reduce编程规范就可满足上述要求，过Map和Reduce两个简单概念构成基本的运算单元便可以并行处理海量的数据。Map Reduce既满足了编程模型需要，也满足了任务调度模型的需求，目前使用较广泛。大数据与云计算的关系首先，大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。他俩们的关系可以这样理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。