CCA Spark and Hadoop Developer (CCA175) 开发者认证

认证准备建议：Spark andHadoop开发者培训

考试形式：120分钟；70%通过；解决10~12基于CDH5机群上需通过实际操作的问题

线上：长期开课

线下北京、上海定期开课(最近一次培训时间：北京6月22-25日Cloudera Developer training for Sparkand Hadoop(CCA-175) ，上海6月27-30日Cloudera Developer training for Spark and Hadoop(CCA-175))

课时：28h/4天

咨询：Q1438118790

课程介绍

Hadoop及生态系统介绍    

  传统大规模系统的问题   

 Hadoop ！   

 Hadoop 生态系统

Hadoop体系结构及 HDFS   

  机群环境下的分布式处理   

  存储：HDFS 体系结构   

  存储：使用 HDFS   

  资源管理：YARN 体系结构   

  资源管理：使用 YARN

使用Apache Sqoop 导入关系数据   

 Sqoop 简介   

  数据的基本导入导出   

  减少传输的数据量   

  改善 Sqoop 性能   

 Sqoop 2

Impala及 Hive 介绍   

  简介   

  为什么使用 Impala 及 Hive   

 Hive 和传统数据库的比较   

 Hive 应用场景

使用Impala 及 Hive 管理数据及建模   

  数据存储   

  创建数据库及表   

  表数据导入   

 HCatalog   

 Impala 元数据缓存

数据格式   

  选择文件格式   

支持不同文件格式的工具   

Avro 数据格式定义模式   

在 Hive 及 Sqoop 里使用 Avro   

Avro 格式数据模式变更   

压缩 数据分区   

分区概述   

Impala 及 Hive 里的数据分区

ApacheFlume 实时数据采集   

  什么是 Apache Flume   

 Flume 基本体系结构   

 Flume 源   

 Flume 槽   

  Flume 通道   

 Flume 配置

Spark基础   

  什么是 Apache Spark   

  使用 Spark Shell   

 RDDs( 可恢复的分布式数据集）   

 Spark 里的函数式编程 Spark RDD   

 RDD   

  键值对 RDD   

 MapReduce   

  其他键值对 RDD 操作

编写和部署 Spark 应用   

 Spark 应用对比 Spark Shell   

  创建 SparkContext   

  创建 Spark 应用（Scala 和Java）   

  运行 Spark 应用   

 Spark 应用 WebUI   

  配置 Spark 属性   

  运行日志

Spark的并行处理   

  回顾：机群环境里的 Spark   

 RDD 分区   

  基于文件 RDD 的分区   

 HDFS 和本地化数据   

  执行并行操作   

  执行阶段及任务

Spark缓存和持久化   

 RDD 演变   

  缓存   

  分布式持久化

Spark数据处理的常见模式   

  常见 Spark 应用案例   

  迭代式算法   

  图处理及分析   

  机器学习   

  例子：K－Means 预览：SparkSQL   

 Spark SQL 和 SQL Context   

  创建 DataFrames   

  变更及查询 DataFrames   

  保存 DataFrames   

 Spark SQL 对比 Impala