分布式计算学习要点

分布式计算学习要点

 

云计算技术简介	云计算技术概述，大数据时代来临，Google云计算技术，Amazon云计算技术，微软云计算技术等。
初始Hadoop	Hadoop的起源、解决的问题、  以及它的特点、应用场景和发展趋势，企业应用情况，为什么使用，及其生态系统介绍。
Hadoop  单节点伪分布式安装	Hadoop  1.0 版本 安装环境搭建
Hadoop  架构	Hadoop  整体架构设计及重要的概念
Hadoop  HDFS 体系结构	1：HDFS  架构设计目标，设计思想，  2：特点，基本概念，容错性。  3：HDFS 界面介绍  4：HDFS 服务
Hadoop  HDFS 命令行	Hadoop  HDFS Shell 基本操作
HDFS  Java API 使用	1：基于Eclipse开发环境搭建  2：Java  API示范 ：比如建立文件，删除，移动复制等
Hadoop  MapReduce 架构 原理	1：MapReduce架构详解  2：MapReduce 流程  3：MapReduce 特点  4：MapReduce 容错性  5：MapReduce 服务
Hadoop  MapReduce api	1：Mapper  2：Reducer  3：Driver
Hadoop  MapReduce 编程实践 wordcount	1：WordCount 程序编写，演示  2：运行MR  Job 示例
高级MR  编程	1：RecordReader  2：Partitioner  3：Combiner
Hadoop  MapReduce IO	1：数据完整性校验  2：压缩，包括：LZO、GZIP、Snappy  3：序列化  4：基于文件的数据结构，包括：SequenceFile、MapFile
调优	调优经验分享

课程中的HBase部分： 

掌握HBase基本原理，应用场景，掌握基本的编程技巧 

章节课程	内容描述
初始HBase	1：NoSql 数据库简介.  2：HBase 简介及与传统关系数据库的对比。  3：HBase 应用场景，企业应用情况，为什么使用。  4：HBase 特点
HBase  环境搭建	HBase 环境搭建
HBase  体系结构	1：HBase架构  2：HMaster、RegionServer、 Regoin 等概念
HBase  数据模型	1：表  2：Rowkey  3：Column Families
HBase  Shell 命令行	1：启动HBase Shell  2：建立表  3：访问数据（添加，删除，查询）  4：练习
HBase  api 简单编程介绍	1：基于Eclipse开发环境搭建  2：基本操作（建表，查询数据，删除）  3：高级操作 （使用过滤器）  4：练习
HBase  row-key 设计及Scheme 设计	经验分享，设计原则
HBase  coprocessor等高级特性介绍	1：coprocessor特性分析，使用场景；  2：HBase 优化简单原则

课程中的Hive部分： 

掌握Hive基本原理，应用场景，掌握基本的编程技巧 

章节课程	内容描述
初始Hive	1：Hive简介  2：为什么使用Hive  3：Hive 应用场景，企业应用情况
Hive  环境搭建	Hive 伪分布式环境搭建
Hive  体系结构	1：Hive主要的组件  2：用户接口  3：概念
Hive  QL	1：Hive 类Sql  2：DDL  3：DML  4：Select 与连接查询
Hive  Java API	1：搭建 Hive JDBC 开发环境  2：Hive JDBC 开发流程
Hive  用户自定义函数简单介绍	UDF和UADF

课程中的分布式协调系统Zookeeper部分： 

掌握Zookeeper基本原理，应用场景，掌握基本的编程技巧 

章节课程	内容描述
初始Zookeeper	1：什么是ZooKeeper  2：ZooKeeper特性
Zookeeper  体系结构	1：ZooKeeper体系结构  2：ZooKeeper存储结构
Zookeeper  选举与锁机制	1：Zookeeper 选举机制  2：Zookeeper 选举算法  3：Zookeeper 锁机制
ZooKeeper  CRUD API	1：Create  2：Read  3：Update  4：Delete
Zookeeper 应用场景	Zookeeper 应用场景