浅谈~大数据

1.什么是大数据？

  所谓大数据，是数据以大批量、快速地增长与迫使数据达到比传统存储级别更高的超大容量级别存储。

2.大数据给了我们什么机遇与挑战？

  面对大数据，我们传统的服务器已经无法承受这海量的计算，大量的数据传输使网络、磁盘IO，以及大量的数据分析与处理使原有的程序、CPU成了最大的瓶颈。数据的价值往往是令人感到不可思议的，在大数据面前，如果能对海量数据进行分析、挖掘，就能把藏在数量里的金子挖出来，创造更高的利润或者提高产品服务与质量。

3.该如何挖掘大数据这座大山呢？

  目前主要有两种实现方法，虽然手段不同，但是达到的效果都是一样的。

• 第一，是利用集群的方式，对原服务器进行改造，利用大量的旧电脑组成一个庞大的计算“军队”，把大数据分解成大量的“小数据”，然后再分给每台在集群中的电脑（军人）进行计算，计算完成后把结果返回给服务器（军长）进行汇总计算，进而得到结果。这种方式就是利用了“众人拾柴火炎高”的原理，就像细菌分解一个大象一样，团结就是力量。
• 第二，是利用高性能内存式服务器，利用超大容量的内存计算能力，快速地把结果计算出来。在内存如此廉价的时代，利用这种技术也不是并无可能。

 就目前而言，第一种方式的代表就是Apache Hadoop，第二种方式的代表就是SAPHANA。前者走人多力量大路线，后者走高帅富路线。当然，这两都面临的同样问题都是网络的带宽资源问题。

4.大数据时代我们最需要做什么？

  数据挖掘与数据分析！挖掘数据埋藏的价值，分析数据隐藏的信息，是我们最终的目标。所以说，在大数据时代真正流行起来的时候，数据分析师，算法工程师等职位将是非常热门。

本文转自：http://blog.sina.com.cn/s/blog_6fd0fd4b0102v3jz.html