大数据系列整个课程课程大纲

 

• 大数据体系结构（开源组件介绍），让你对当前大数据技术栈一目了然；

• Linux命令基础实战；

• Hadoop基础，对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍，让你快速把握Hadoop的核心技术和工作原理，逐渐形成分布式思维；

• Sqoop，作为关系型数据库与Hadoop之间的桥梁，批量传输数据，让你自然的从关系型数据库过度到Hadoop平台，在关系型数据库与Hadoop之间游刃有余的进行数据导入导出；

• Hive，基于Hadoop大数据平台的数据仓库，可以让你实现传统数据仓库中的绝大部分数据处理、统计分析，让你在Hadoop大数据平台上感受到Hive QL带来的便利的交互式查询体验；Mars将以日志分析或其他示例带大家熟练掌握Hive的应用；

• HBase，列式存储数据库，提供了快速的查询方式，是Apache Kylin的默认数据存储结果；

• Kylin，基于Hadoop的OLAP分析引擎，在Kylin中可以实现传统OLAP的各种操作，直接读取Hive的数据或流式数据作为数据源，把这些数据根据业务模型构建成Cube，Kylin提供了基于Hadoop（MapReduce）的Cube构建，Build完成的Cube数据直接存储于HBase中。Kylin提供了Web UI供查询，包括一些图表展现，是基于大数据的完美OLAP工具；

• Spark，基于内存计算的大数据计算引擎，提供了Spark SQL、Spark MLlib(基于Spark的机器学习）、SparkR等框架适应不同的应用需求，Spark专题将和大家一起实践操作各种应用和算法；

 

转载于:https://www.cnblogs.com/rxbook/p/6024474.html