大数据入门必看这些基本概念：Pig、Hive、Hadoop、Storm诠释

今天给大家分享一篇关于大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释，剖析大数据该如何存储到硬盘上?存储数据后，该考虑如何处理数据？什么是Map?什么是Reduce?Hive、Pig、Storm技术是如何产生的?下面我们一起来看一下吧。

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释

大数据，首先你要能存的下大数据。

传统的文件系统是单机的，不能横跨不同的机器。HDFS(HadoopDistributedFileSystem)的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什么扇区一样。HDFS为你管理这些数据。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣群：数字522+数字189+307，私信管理员即可免费领取开发工具以及入门学习资料

存的下数据之后，你就开始考虑怎么处理数据。