漫谈大数据

Hello各位old铁，我是酷酷的小张，今日份漫谈注意查收……
一提到大数据就会想到他的背景、存储平台、以及计算模式和分析处理平台等等。但是相信还是有很多小伙伴会问到底什么是大数据又或者处理到多大才算大数据。如果你没有接触过大数据，那么你就不知道大数据究竟有多大，大到什么样的数据才能称之为大数据。那么，根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。
关于大数据的定义也是众说风云，其实可以简单的用一句话概括：大数据一词由英文“big data”翻译而来，是最近几年兴起的概念，目前还没有一个统一的定义。相比于过去的“信息爆炸”的概念，它更强调数据量的“大”。

关于大数据的V特征之前的版本都是4V查阅了一些资料发现已经具体到5V。
大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据存储平台
对大数据进行处理必须需要一个能够存储所有数据的平台。下面介绍以下常用的大数据存储平台。
1.HDFS
HDFS（全称Hadoop Distributed File System）原是Apache开源项目Nutch的组件，现在成为是Hadoop的重要组件，它是一款具有高容错性特点的分布式文件系统，它被设计为可以部署在造价低廉的主机集群上。
HDFS的设计目标：
检测和恢复硬件故障。
存储大数据集。
应用程序流式地访问HDFS上的数据集。
大部分MapReduce 程序对HDFS上的文件是一次写入，多次读取的。
可移植性。
让计算机数据的位置而移动。

2.HBAS
Apache HBase是运行于Hadoop平台上的数据库，它是可扩展的、分布式的大数据储存系统。HBase可以对大数据进行随机而实时的读取和写入操作。它的目标是在普通的机器集群中处理巨大的数据表，数据表的行数和列数都可以达到百万级别。受到Google Bigtable 思想启发，Apache开发出HBase, HBase是一个开源的、分布式的、数据多版本储存的、面向列的大数据储存平台。Google的Bigtable是运行于GFS（Google File System）上的，而HBase是运行与Apache开发的Hadoop平台上。
HBase的特性包括：
1）线性和模块化的扩展性；
2）严格的读写一致性；
3）自动且可配置的数据表分片机制；
4）RegionServer之间可以进行热备份切换；
5）为MapReduce操作HBase数据表提供方便JAVA基础类；
6）易用的JAVA客户端访问API；
7）支持实时查询的数据块缓存和模糊过滤；
8）提供Trift网关和REST-ful Web服务，并支持XML，Protobuf和二进制编码；
9）可扩展的Jrubyshell；
10）支持通过Hadoop检测子系统或JMX导出检测数据到文件、Ganglia集群检测系统。

3.Cassandra
Cassandra是社交网络理想的数据库，适合于实时事务处理和提供交互型数据。以Amazon的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，P2P去中心化的存储，目前twitter和digg中都有使用。在CAP特性上(CAP即Consistnecy 一致性，Avaliability 可用性，Partition-tolerance分区容忍性)，HBase选择了CP，Cassandra更倾向于AP，而在一致性上有所减弱。

4.Redis
Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。
Redis是一个支持持久化的内存数据库(与Memcache类似),也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库 数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。
Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现很多有用的功能。

以及大数据的处理分析平台最常见的就是Impala平台和HadoopDB平台

随着社会未来向智能化的逐渐发展，大数据相关技术在一些传统领域的应用将越来越广泛。当然，现阶段大数据产业发展也存在着各种各样的状况。但是，大数据代表了未来发展的方向，这是当今社会的共识，大数据发展已经进入了最好的时代。