大数据简历

大数据应用有很多框架，本文章主要介绍现在主流的一些大数据框架
1、sqoop： sqoop是用于Hadoop、Hive与传统的数据库（MySQL）间进行数据传输。可以将一个关系数据库中的数据导进Hadoop的HDFS中，也可以将HDFS 的数据导入到关系数据库中。
2、Flume： Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据
3、Kafka： Kfaka是一种高吞吐量的分布式发布订阅消息系统。
4、 Strom： Strom用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出出来给用户。
5、Spark： Spark是流行的开源内存计算框架，是基于Hadoop上的存储的大数据进行计算
6、Oozie： Oozie是一个管理Hadoop作业的工作流程管理
7、Hbase： Hbase是一个分布式、面向列的开源数据库，是一个十分适合于非结构化的数据存储数据库。
8、Zookeeper： Zookeeper是一个针对大型分布式系统的可靠协调系统 ，提供的功能包括：配置、维护、名字服务、分布式同步、组服务
9、 Hive： Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供简单的SQL查询工具功能，可以将SQL语句转换为MapReduce任务进行运行。优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
10、Flink： Flink是当前最流行的开源大数据内存计算框架，主要用于实时