了解大数据

一，大数据基本概念：

             21世纪是的时代是一个数据时代，特别是近年来随着互联网的高速发展，每分每秒都在产生数据，对于产生的数据是如何进行储存和相应的分析处理呢？  各大公司便纷纷研发和采用一批新技术来应对日益庞大的数据处理需求，其主要包括分布式系统，分布式计算框架等。

            《互联网周刊》 对大数据的定义为： “大数据” 的概念远不止大量的数据（TB） 和处理大量数据的技术，或者所谓的  “4个V” 之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，来获得巨大价值的产品和服务，或者深刻的洞见，最终形成变革之力。

 

二， 大数据的特征

       （1） 数据量大（Volume）

随着网络技术的发展和 普及，每时每刻都会产生大量的数据，在我们的日常生活中，如网上购物，看直播，在线阅读等等，都会产生很多的日志，汇在一起每分每秒产生的数据量是非常巨大的。

           （2） 类型繁多 （Variety）

大数据中最常见的类型是日志，除了日志之外常见的还有音频，视频。图片等等。由于不同类型的数据没有明显的模式。 呈现出多样性的特点，对数据的处理要求也会更高。

           （3） 价值密度低（Value）

现阶段每时每刻产生的数据量已经很大了，如何从大量的日志中提取我们需要的，对我们有价值的信息才是最重要的。数据量越大，里面必定会存在着大量与我们所需不相干的信息，如何快速的完成数据的有效价值提炼，是大数据有待解决的问题。

          （4）  处理速度快 （Velocity）

传统的离线处理的时效性不高，换而言之时延是非常高的，随着时代的发展，对时效性的要求也越来越高，需要实时对产生的数据进行分析处理。

大数据带来的挑战

            1. 对现有数据库的挑战

随着互联网时代的带来，现在产生的数据如果想储存在传统数据库是不太现实的，即便传统的数据库有集群的概念，任然不能处理TB量级的数据。而且现阶段产生的数据类型很多，有些类型的数据是没办法使用结构化数据查询语言（SQL） 来处理的。

            2. 实时性的技术挑战

数据产生的价值会随着时间的流逝而大大降低，所以当数据产生后我们要尽可能地进行处理。最典型的就是电商网站的推荐系统。

传统的离线批处理对处理的要求并不高。而实时处理的要求是区别大数据应用和 传统数据库技术或者离线技术的关键差别之一。

            3. 对数据中心，运维团队的挑战

如今每天产生的数据量正呈爆炸式增长。对如此大量的数据怎样进行高效的收集，存储， 计算都是数据中心要面临的问题，而处理快速增长的数据量所需的机器也日益增多，对运维团队来说压力也会增加。