云计算课程详解

——2013年6月传智播客推出了7天的云计算之大数据处理hadoop课程，经过2年的深入研究及打磨，2015年5月传智播客正式向外推出云计算高薪就业课程。这套课程最大的特点是站在初学者容易吸收理解的角度对云计算的知识进行了重新的整理及细化，内容的安排更符合初学者的学习思维，知识一环扣一环，循序渐进，让学员无痛苦并且觉得“so easy”的情况下完成云计算的学习。

—— 引领技术潮流是传智播客师资团队一贯的追求，让我们的学员永远走在别人的最前面，让别人永远跟在我们屁股后面走是我们一贯的目标。传智播客秉承一贯的严谨、求实、深入浅出的讲课风格，把最新的研究成果奉献给大家。

——毫无疑问，这是中国第一套更系统的云计算课程，也是第一套更适合国人学习的云计算课程。

企业给出的云计算方向开发工程师的薪资待遇

   *  大数据方向开发工程师（Hadoop2、Storm、Spark）的薪资待遇:入门级别月薪在10000-12000左右，精通级别为20000-30000左右。
   *  虚拟化方向(cloudstack)开发工程师的薪资待遇:入门级别月薪在12000-15000左右，精通级别为20000-30000左右。
   *  同时精通大数据技术（Hadoop2、Storm、Spark)和虚拟化技术(cloudstack)的人才十分短缺，月薪在30000-50000左右，这样的人才属于公司的核心人员，云计算知识体系健全，属于架构师级别的高级人才。

云计算方向开发工程师，可以说前景相当广阔，薪水相当诱人。有图为证：（以下是招聘网站的截图）

智联招聘：http://www.zhaopin.com/  (关键词：Hadoop、cloudstack、虚拟化)

猎聘网：http://www.liepin.com/  (关键词：Hadoop、cloudstack、虚拟化)

• 
• 
• 
• 
• 
• 

云计算的发展前景?

    近年来IT行业最火的非“云”莫属了，云计算包含很多方面（IaaS、PaaS、SaaS），“大数据”和“虚拟化”作为当前两大热门领域，得到了学术界和企业界越来越多的广泛关注和重视。云计算将是IT行业的又一次技术变革！

    大数据已经是未来IT行业发展的一个方向，根据市场研究机构IDC预测，到2016年大数据将实现8.128亿美元的销售额——复合年增长率达到60.2%，大数据已经在各行各业得到了大量使用，如互联网、金融、电信、医疗、气象、水文、航天等。市场对于大数据人才的需求量也与日俱增。通过学习这些大数据技术（如Hadoop2或Storm或Spark）可以让你从一位普通的程序员完成一次华丽的转身。

    众所周知，这些大数据技术（如Hadoop2、Storm、Spark等）都需要运行在庞大的服务器集群上（如淘宝、百度公司的大数据服务器集群都达到了上万台服务器）。如果使用传统的方式来维护这些服务器，会浪费大量的人力物力。虚拟化平台技术的出现（如CloudStack、OpenStack）将彻底改变这一现状，使用这一技术将帮助企业最大限度的利用手中的资源，提高利用率，降低成本！虚拟化技术已经在大中型公司中得到了广泛应用，企业可以借助它搭建公有云或私有云平台。

课程目标

     本课程目标是培养目前在云计算领域非常紧缺的大数据技术和虚拟化技术方向的人才，课程涉及到大数据技术和虚拟化技术中绝大部分知识，即夯实了学员的基本功底，又通过结合公司真实的项目案例提高学员动手能力和解决问题的能力，完全可以让刚毕业的大学生达到有1-2年大数据或虚拟化工作经验的水平，学习能力强的或有IT工作经验的甚至可以达到2-3年大数据或虚拟化工作经验的水平，进入公司后可以快速地投入到工作当中，提高学员在企业中竞争力。
     学员学习完本套课程即可从事云计算的大数据方向又可从事虚拟化方向，可以胜任大数据数据挖掘、大数据实时处理、虚拟化平台搭建和开发，构建公有云和私有云，并在云上部署和开发应用等工作

课程内容说明

    本课程由大数据技术(linux+Hadoop2+Storm+Spark）和虚拟化技术(cloudstack)两部分组成,
    何为大数据技术?
    大数据(BIG DATA)是指"无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合",但是不能简单理解为大数据只是一堆数字，其核心还是如何挖掘数据、如何利用数据表达、如何利用数据进行预测和决策.
    何为虚拟化技术?
    虚拟化通常是指计算元件在虚拟的基础上而不是真实的基础上运行，虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程，允许一个平台同时运行多个操作系统或多台机器协作组成一个计算平台，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。CloudStack作为一个IaaS平台，它不再是一个简单的单机软件，而是为了管理超大规模的硬件设备而生的。它兼容各种虚拟化管理软件（Hypervisor），支持各种存储类型，通过软件及虚拟机实现了很多网络功能，尽可能将流程自动化并对用户提供服务，可以让企业快速搭建一个公有云或私有云，并且十分方地便管理和运维这个云平台。

招生对象

1.计算机相关专业本科以上学历（包括在校大学生）或有两年以上软件开发经验的人员。
2.有一定的英语基础，能阅读简单的英文文档。
3.学习能力强，渴望从事云计算行业.
4.熟练使用一门编程语言：如c++，java（最好是java）
5.对计算机基础有一定了解：如网络、数据结构、数据库等.

课程安排

第一阶段：大数据技术(linux+Hadoop2+Storm+Spark)

Linux	1、 Linux的介绍：Linux的发展历史、Linux和Windows的对比和优势、Linux的常见版本 2、 Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程 3、 Linux的常用命令：常用命令的介绍、常用命令的使用和练习 4、 VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键 5、 Linux用户和组账户管理：用户的管理、组管理 6、 Linux系统文件权限管理：文件权限介绍、文件权限的操作 7、 Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作 8、Linux网络：Linux网络的介绍、Linux网络的配置和维护 9、Shell编程：Shell的介绍、Shell脚本的编写 10、Linux上常见软件的安装：安装JDK、安装Tomcat、安装Eclipse
Hadoop	1、 Hadoop基础知识：Hadoop产生背景、Hadoop在大数据、云计算中的位置和关系、国内外Hadoop应用案例介绍、国内Hadoop的就业情况分析及课程大纲介绍、分布式系统概述、Hadoop生态圈以及各组成部分的简介、Hadoop为分布式环境搭建、SSH免密码登陆的配置和原理、Hadoop核心MapReduce例子说明 2、 分布式文件系统HDFS：分布式文件系统HDFS简介、HDFS的系统组成介绍、HDFS的组成部分详解、副本存放策略及路由规则、命令行接口、Java接口、Hadoop的RPC机制、HDFS上传下载数据过程和源码分析、客户端与HDFS的数据流讲解 3、 分布式计算模型MapReduce：如何理解map、reduce计算模型、剖析伪分布式下MapReduce作业的执行过程、序列化、MapReduce的类型与格式、MapReduce简单开发环境搭建和Maven环境搭建、MapReduce应用开发、更多示例讲解，熟悉MapReduce算法原理、使用压缩分隔减少输入规模、利用Combiner减少中间数据、编写Partitioner优化负载均衡、如何自定义排序规则、如何自定义分组规则、Shuffle过程和原理、MapReduce提交过程和源码分析、MapReduce 执行过程和源码分析、MapReduce 本地debug和远程debug、MapReduce优化 4、 分布式协调框架ZooKeeper：ZooKeepe基本概念和体系结构、ZooKeeper集群的安装、操作ZooKeeper、ZooKeeper编程API 5、Hadoop2.x集群搭建：Hadoop2.x集群结构体系介绍、Hadoop2.x集群搭建、NameNode的高可用性（HA）、HDFS Federation、ResourceManager 的高可用性（HA）、Hadoop集群常见问题和解决方法、Hadoop集群管理 6、 分布式数据库Hbase：HBase定义、HBase与RDBMS的对比、数据模型、系统架构、HBase上的MapReduce、表的设计、集群的搭建过程讲解、集群的监控、集群的管理、HBase Shell以及演示、Java客户端以及代码演示 7、 数据仓库Hive(使用sql进行计算的hadoop框架)：数据仓库基础知识、Hive定义、Hive体系结构简介、Hive集群、客户端简介、HiveQL定义、HiveQL与SQL的比较、数据类型、外部表和分区表、表的操作与CLI客户端演示、数据导入与CLI客户端演示、查询数据与CLI客户端演示、数据的连接与CLI客户端演示、用户自定义函数（UDF）的开发与演示 8、 Pig(hadoop计算的另一种框架)：Pig概述、安装Pig、Pig的语法和常用函数、Pig的自定义函数（UDF）开发 9、 数据迁移工具Sqoop：配置Sqoop、使用Sqoop把数据从mysql导入到HDFS中、使用Sqoop把数据从HDFS导出到mysql中 10、机器学习框架Mahout：机器学习的概念和使用场景、Mahout的安装与测试、Mahout的解析聚类算法、解析分类算法、协同过滤算法等常用算法 11、Hadoop项目实战：移动运营商流量分析系统、电影点评网站推荐系统
Storm	1、 Storm基础知识：Storm的基本概念、Storm的应用场景、Storm和Hadoop的对比 2、 Storm集群的安装：linux环境准备、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置项讲解、集群搭建常见问题解决 3、 Storm常用组件和编程API：Topology、 Spout、Bolt、Storm分组策略(stream groupings)、Storm项目maven环境搭建、使用Strom开发一个WordCount例子、Storm程序本地模式debug、Storm程序远程debug、Storm事物处理、Storm消息可靠性及容错原理 4、 Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API 5、 Storm Trident：Trident概念、Trident state 原理、Trident开发实例 6、 Storm DPRC：Storm DRPC(分布式远程调用)介绍、Storm DRPC实战讲解 7、 Storm和Hadoop 2.x的整合：Storm on Yarn 8、 Storm开发实战：安全事件监控系统(Kafka+Storm+Hbase)、商品推荐系统(Kafka+Storm+Mahout+Hbase)
Spark	1、 Spark介绍：Spark应用场景、Spark和Hadoop MR、Storm的比较和优势 2、 Scala编程语言快速上手(Spark是用Scala语言编写的)：Scala语言与java语言的对比和优势、Scala基础、Scala面向对象编程、Scala函数式编程、Scala高级编程 3、 Spark概念和编程模型：RDD 、transformation、action、lineage等、Spark模型简介、Spark缓存策略和容错处理、宽依赖与窄依赖 4、 Spark集群部署：Spark配置讲解、Spark集群搭建、集群搭建常见问题解决 5、 Spark原理：核心组件和常用RDD、数据本地性、任务调度、DAGScheduler、TaskScheduler、Task细节、广播变量、累加器、性能调优 6、 Spark和Hadoop2.x整合：Spark on Yarn原理、JobServer配置与部署 7、 Spark Streaming：数据源和DStream、无状态transformation与有状态transformation、checkpoint和容错、性能优化 8、Spark SQL和Shark：Shark数据模型和Shark数据类型、Shark的架构和部署、Shark与Spark结合、Spark SQL架构 9、Spark编程实战：移动运营商流量分析系统

第二阶段：虚拟化技术(CloudStack)

Cloudstack

1、虚拟化技术概览和CloudStack介绍：虚拟化技术的发展历程、虚拟化技术关键组成部分、常见虚拟化技术、常见存储技术、Apache CloudStack历史和基本功能、CloudStack各种专有术语、CloudStack的架构介绍 2、CloudStack的安装：前期准备和要求（Linux环境准备、源代码的获取和编译、创建yum库）单节点CloudStack安装、多节点CloudStack（集群）安装（CloudStack配置介绍、安装和配置CloudStack MySQL数据库、配置CloudStack管理节点和工作节点） 3.、CloudStack的配置和管理：CloudStack管理界面介绍、CloudStack全局配置和常用参数的调整、CloudStack的用户管理、CloudStack的应用管理、CloudStack物理资源的管理、CloudStack虚拟资源的管理 4、CloudStack网络管理：CloudStack网络介绍（物理网络、虚拟网络、虚拟路由）、高级网络技术（端口转发、NAT地址转换、VPN、负载均衡设置、VPC的基本设置） 5、CloudStack的存储：主存储配置和管理（系统要求和配置、添加主存储）、二级存储配置和管理（添加二级存储、修改二级存储IP地址、使用OpenStack Swift）、Volumes的配置和管理（volume的操作和维护）、Snapshots（快照）的配置和管理（快照的操作和维护、VM快照迁移） 6、CloudStack支持的Hypervisor：RedHat KVM（KVM的配置和实战）、Citrix XenServer（介绍）、Oracle VM（介绍）、VMware vSphere（介绍） 7、CloudStack的高可靠性（HA）：CloudStack基础平台的高可靠性、CloudStack冗余虚拟路由、CloudStack存储高可靠性（主存储的高可靠性、二级存储的高可靠性）、CloudStack高可靠管理（CloudStack高可靠管理器--Queue）、CloudStack上运行高可靠应用（CloudStack存储迁移）、CloudStack的自动调整扩展（自动调整扩展策略、VM属性的自动调整扩展、VM组的自动调整扩展） 8、CloudStack的扩展和性能调优：CloudStack的扩展（CloudStack整合Citrix NetScaler、CloudStack整合Nicira NVP、CloudStack整合OpenStack Swift存储）、CloudStack优化（管理服务器内存调整、数据库连接池调整、设置和监控主机的容量、资源使用率调整、） 9、CloudStack云平台的云雾和常见问题及解决方法：CloudStack中的各种事件、日志管理方法、网络和流量管理、系统监控及告警通知、各种常见问题的解决办法 10、CloudStack上开发和部署应用：在CloudCloudStack开发一个PaaS应用、在CloudStack上部署Hadoop2.x集群

项目实战

某大型企业真实的云计算项目