学习大数据需要了解什么

        大数据涉及非常多的技术栈，只有了解掌握这些技术的时候才可以说入门大数据。

        具体涉及有哪些呢，从上图可以看出有太多了。下面讲解下最重要的几个部分，也是必学的部分。

1. 首先是数据的存储问题，因为数据量特别大，一般的机器存不下，所以要用很多太机器进行相关的数据存储，这里就必须用到HDFS，即分布式文件存储系统。
2. 数据可以存了，但是如何管理相关的资源呢，这时候就需要用到专门的集群资源管理即yarn，和计算框架mr(mapreduce)此时Hadoop三件套就出来了，HDFS，yarn以及Mr。

        当然这些偏比较底层的东西平时工作也不会太涉及，但是当遇到优化问题时知道这些相关知识还是很香的，理解起来相当容易一点。

        oozie实际工作中用到的比较多的就是偏上层的东西，比如说hive（数据仓库系统）和impala（分析查询引擎），这些都是相关计算和代码的层面，写好之后任务的运行调度就要用到oozie和采集数据的工具Sqoop和flume等。

        最后由于都是分布式的东西，肯定需要一个同一的管理工具，此时就要用到zookeeper。

        总的来说，要入门大数据需要学的东西有HDFS，yarn，mr，zookeeper，hive，Sqoop，oozie等，从数据的采集到数据的存储和数据的计算这一套都学完之后才算是真的入了大数据的门。