[大数据]-- 大数据spark学习课程安排

文章来源:http://www.dataguru.cn/forum.php?mod=viewthread&tid=316241

为了广大学员更好的学习spark,对《Spark大数据快速计算平台》最初课程重新安排,便于更全面、更系统的了解spark。

大部分课程是一周的内容(1-2小时),有部分课程是二周的内容(2-4小时);

二周内容的课程会一次性发放,但间隔时间会多一周,总的课程历程大概是15周。另外会做个调查表,适当添加辅助课程。


课程内容:
1:Spark生态和安装部署(一周内容)
什么是Spark
Spark有什么
  Spark(内存计算框架)
  SparkSteaming(流式计算框架)
  Spark SQL(ad-hoc)
  Mllib(Machine Learning)
  GraphX(bagel将被取代)
安装部署
  Spark安装简介
  Spark的源码编译
  Spark Standalone安装
  Spark Standalone HA安装  
Spark工具
  Spark交互式工具spark-shell
  Spark应用程序部署工具spark-submit

2:Spark编程模型和解析(一周内容)
Spark的编程模型  
  RDD的特点、操作、依赖关系
  缓存策略
  广播变量和累加器
Spark编程环境搭建
Spark编程实例解析
  WordCount
  日志处理

3:Spark运行架构和解析(一周内容)
Spark的运行架构
  基本术语
  运行架构(DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性)
  Spark on Standalone运行过程
  Spark on YARN 运行过程
Spark运行实例解析
  Spark on Standalone实例解析
  Spark on YARN实例解析

4:Spark SQL原理和实践(二周内容)
hive和shark
  hive的原理、安装、运行
  shark的原理、安装、运行
Spark SQL原理
  Spark SQL的Catalyst优化器
  Spark SQL编程模型
  Spark SQL和Hive
Spark SQL的实例和编程
  Spark SQL的实例操作
  Spark SQL的编程

5:Spark Streaming原理和实践(一周内容)
Spark Streaming原理
  Spark流式处理架构
  DStream的特点
  Dstream的操作和RDD的区别
  Spark Streaming的优化
Spark Streaming实例
  文本实例
  Window操作
  网络数据处理

6:Spark 机器学习入门(一周内容)
机器学习的原理
Mllib常用算法简介
Mllib的例程分析

7:GraphX 入门(一周内容)
图论基础
GraphX的简介
GraphX例程分析

8:Spark运维和调优(二周内容)
Spark配置
history server
job server
Spark的监控
  Spark UI监控
  Ganglia 监控
Spark调优

9:Spark编程(二周内容)
Spark的多语言编程
  Scala开发Spark应用程序
  Pyhton开发Spark应用程序
Spark的应用开发
  Spark和Nosql(redis、mongodb)
  Spark和RDBMS(mysql)
  Spark和Hbase

10:Spark源码研读(二周内容)
Spark源码研读
  Spark源码下载和研读环境搭建
Spark Core介绍
  SparkContext
  Executor
  Deploy
  RDD和Storage
  Scheduler和Task
Spark Examples介绍

11:杂谈(一周内容)
基于Spark的衍生项目
  BlinkDB简介
  SparkR的安装和实例
Spark和MapReduce、Tez
Spark和Techyon
Spark的优秀网站、书籍、牛人介绍

授课对象:
具有ubuntu或CentOS操作技能,最好有hadoop2.x基础,想了解和学习Spark的朋友

授课软件版本:
spark1.0.0
hadoop2.2.0
IntelliJ IDEA 13+
Java 7UP21
scala 2.10.4
python 2.7

学习环境准备:
最好有多台大内存的物理机,实在不行,就拿台16G内存以上的物理机吧。Spark很耗内存的,小伙伴们都知道的。最低的配置不要低于4G(用伪分布式小数据量下还能凑合着使用)。

授课时间:
开课时间2014年7月7日,课程持续时间为11周。
开课前将预放附带课程视频 spark课程简介 、 hadoop2.2.0环境搭建 、IntelliJ IDEA环境搭建

学习收获预期:
掌握Spark编程原理和运行结构,Spark生态的各个组件的功能,具备初步从事Spark项目的能力。

展开阅读全文

没有更多推荐了,返回首页