云计算学习过程

一.Linux基础
1.Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程
2.了解机架服务器，采用真实机架服务器部署linux 
3.Linux的常用命令：常用命令的介绍、常用命令的使用和练习
4.Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；
5.Linux启动流程，运行级别详解，chkconfig详解
6.VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键
7.Linux用户和组账户管理：用户的管理、组管理
8.Linux磁盘管理，lvm逻辑卷，nfs详解
9.Linux系统文件权限管理：文件权限介绍、文件权限的操作
10.Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作
11.yum命令，yum源搭建
12.Linux网络：Linux网络的介绍、Linux网络的配置和维护
13.Shell编程：Shell的介绍、Shell脚本的编写
14.Linux上常见软件的安装：安装JDK、安装Tomcat、安装mysql,web项目部署




二. 大型网站高并发处理
1．第四层负载均衡 
i.Lvs负载均衡【1.负载算法/2.NAT模式/3.直接路由模式（DR）/4.隧道模式（TUN）】 
ii.F5负载均衡器介绍 
2．第七层负载均衡【a. Nginx/b. Apache】 
3．Tomcat、jvm优化提高并发量 
4．数据缓存优化 
i.缓存数据库【1.Redis/2.Memcached】 
5．Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发处理 6．Haproxy 
7．Fastdfs小文件独立存储管理 8．Redis缓存系统【a. Redis基本使用 / b. Redis 
sentinel高可用 / c. Redis好友推荐算法】




三.Hadoop
1.Hadoop生态环境介绍
2.Hdfs
3.Mapreduce
4.Hadoop2.x,yarn 
5.分布式数据库Hbase ,hbase优化
6.Hive 
7.Pig(hadoop计算的另一种框架)
8.数据迁移工具Sqoop 
9.Flume数据采集
10.机器学习框架Mahout
11.Cloudera ,cdh
12.Zookeeper
【a. Zookeeper java api开发 / b. Zookeeper rmi高可用分布式集群开发 /
c.Zookeeper redis高可用监控实现】
13.Hadoop项目实战：中国移动大数据无线网络优化系统
14.基于Mapreduce，Lucene或solr或elasticsearch 文本挖掘和搜索系统构建


四.Spark大数据处理
1.Spark介绍：Spark应用场景、Spark和Hadoop MR、Storm的比较和优势
2.Scala编程语言快速上手(Spark是用Scala语言编写的) 
3.Spark概念和编程模型：RDD 、transformation、action、lineage等 
4.Spark集群部署 
5.Spark原理：核心组件和常用RDD 
6.Spark和Hadoop2.x整合：Spark on Yarn原理、JobServer配置与部署
7.Spark Streaming 
8.Spark SQL spark SQL架构，sparksql 编程实战
9.Spark编程实战：中国移动无线网络优化分析系统


五.实时数据处理storm
1.Storm基础知识
2.Storm集群的安装
3.Storm常用组件和编程API
4.Storm结合消息队列Kafka
5.Storm Trident 
6.Storm DPRCStorm on Yarn
7.Storm开发实战：商城项目订单，销售额，省区销售实施分析，
流量ip,pv,uv实时分析(Kafka+Storm+Hbase),无线网络优化实时监控监控项目


六.虚拟化xen、kvm
1.虚拟化介绍，虚拟化适用场景等等
2.Qemu Libvirt & KVM
3.安装KVM, Qemu, Libvirt
4.QEMU-KVM: 安装第一个能上网的虚拟机
5.Kvm虚拟机 nat,网桥基本原理
6.kvm虚拟机克隆
7.kvm虚拟机vnc配置
8.kvm虚拟机扩展磁盘空间
9.Kvm快照
10.Kvm 迁移
11.Java,python,c语言编程控制kvm
12.构建自己的虚拟云平台


七.docker大纲
1.基本介绍
2.vm docker 对比
3.docker基本架构介绍
4.unfs cgroup namespace
5.进程虚拟化 轻量级虚拟化
6.docker 安装
7.docker 镜像制作
8.docker 常用命令
9.docker 镜像迁移
10.docker pipework【i.openvswitch】
11.docker weave




八.云计算平台openstack
1.openstack介绍和模块基本原理分析
2.openstack多节点安装部署【a.采用centos6.x系统】
3.Keystone基本原理
4.glance
5.Cinder
6.Swift
7.Neutron
8.Openstack api 二次开发


九.redis缓存 系统课程大纲
1.redis特点、与其他数据库的比较
2.如何安装redis
3.如何使用命令行客户端
4.redis的字符串类型
5.redis的散列类型
6.redis的列表类型
7.redis的集合类型
8.如何使用java访问redis【a.python访问redis,scala访问redis】
9.redis的事务(transaction)
10.redis的管道(pipeline)
11.redis持久化(AOF+RDB)
12.redis优化
13.redis的主从复制
14.redis的sentinel高可用
15.twemproxy,codis实战
16.redis3.x集群安装配置


十.kafka课程大纲
1.kafka是什么
2.kafka体系结构
3.kafka配置详解
4.kafka的安装
5.kafka的存储策略
6.kafka分区特点
7.kafka的发布与订阅
8.scala编程操作kafka




十一.Flume课程大纲
1.详细Flume的体系结构
2.讲述如何书写flume的agent配置信息
3.flume如何动态监控文件夹中文件变化
4.flume如何把数据导入到hdfs中
5.讲解如何通过flume动态监控日志文件变化，然后导入到hdfs中
6.flume+kafka整合
7.flume avor 序列化传输
8.flume1.6新特性


十二.R语言 机器学习大纲
1.R语言介绍，基本函数，数据类型
2.线性回归
3.朴素贝叶斯聚类
4.决策树分类
5.k均值聚类【a. 离群点检测】
6.关联规则探索
7.神经网络


十三.scala函数式编程课程大纲
1.scala解释器、变量、常用数据类型等
2.scala的条件表达式、输入输出、循环等控制结构
3.scala的函数、默认参数、变长参数等
4.scala的数组、变长数组、多维数组等
5.scala的映射、元祖等操作
6.scala的类，包括bean属性、辅助构造器、主构造器等
7.scala的对象、单例对象、伴生对象、扩展类、apply方法等
8.scala的包、引入、继承等概念
9.scala的特质
10.scala的操作符
11.scala的高阶函数
12.scala的集合


十四.spark MLlib机器学习
1.介绍 【a)Spark MLlib组件介绍/ b)基本数据类型】
2.回归算法【a)广义线性模型/ b)逻辑回归】
3.分类算法【a)朴素贝叶斯/ b)决策树/ c)随机森林】
4.第四章  推荐系统
5.第五章
聚类 【 a)Kmeans/ b) Sparse kmeans/ c)Kmeans++/ 
d)Kmeans II/ e)Streaming kmeans/ f)Gaussian Mixture Model】
6.GraphX
【a)二分图/ b)概述/ c)构造图/ d)属性图/ e)PageRank】




十五.mahout机器学习
1.介绍为什么使用它,它的前景,机器学习【 a)简单介绍Mahout / b)简单介绍机器学习/ c)实例演示Mahout单机推荐程序】
2.配置安装（hadoop2.x版本的）编译安装步骤说明【 a)命令行中测试运行】
3.聚类【 a)聚类概念/ b) 聚类步骤流程/ c)聚类中的距离测度/ d)讲解K-means聚类/ 
e)K-means聚类算法展示 / f)聚类其他算法/ g)介绍TF-ID / h)归一化/ i) 微博聚类案例】
4.推荐系统【 a) 协同过滤概念 / b) 讲解基于用户的协同过滤 / 
c) 讲解基于物品的协同过滤 / d) 约会推荐系统案例】
5.分类【 1. 分类概念 / 2. 分类的应用及Mahout分类优势 / 
3. 分类和聚类、推荐的区别 / 4. 分类工作原理 / 5. 分类中概念术语 / 
6. 分类项目工作流 / 7. 如何定义预测变量 / 8. 线性分类器的介绍，及贝叶斯分类器 / 
9. 决策树分类器的介绍，及随机森林分类器 / 10. 如何使用贝叶斯分类器和随机森林分类器的代码展示】


十六.Python机器学习+django
1.介绍Python以及特点
2.Python的安装
3.Python基本操作（注释、逻辑、字符串使用等）
4.Python数据结构（元组、列表、字典）
5.使用Python进行批量重命名小例子
6.Python常见内建函数
7.更多Python函数及使用常见技巧
8.异常
9.Python函数的参数讲解
10.Python模块的导入
11.Python中的类与继承
12.网络爬虫案例
13.Web应用相关模块介绍
14.数据库连接，以及pip安装模块
15.python机器学习算法【 1. python实现聚类算法 / 2. python实现线性回归算法 / 3. python分类算法】


十七.Django课程大纲
1.框架的介绍
2.Django中的装饰器
3.Django中如何传参
4.如果看起来更Pythonic
5.Django的安装
6.项目的创建、启动
7.应用的创建
8.settings.py文件的讲解
9.数据库的配置
10.admin模块的开启
11.建立简单博客网站，随代码逐一讲解以下：
12.Django的架构
13.讲解模板templates
14.讲解视图view【 i. 讲解model】
15.讲解查询语法
16.请求响应
17.如果生成CSV和PDF文件
18.讲解django.shortcuts模块的使用
19.Mongodb基础入门
20.讲解如何连接mongodb
21.Web项目关闭debug模式
22.上线部署django + nginx + uwsgi