云计算大数据基础班
1.Java语言入门
基础班课程大纲 | |||
所处阶段 | 主讲内容 | 技术要点 | 学习目标 |
第1阶段: Java语言入门 | 1.计算机基础知识 | 1.计算机基础;2.DOS常用命令;3.Java概述;4.JDK环境安装配置;5.环境变量配置;6.Java程序入门 | 可掌握的核心能力: (1)能够掌握DOS系统常用基本命令; (2)熟练使用eclipse编写java代码; (3)熟练使用java语言的常用对象; (4)使用java编写单机应用程序; (5)掌握面向对象编程思想,为以后深入学习JavaEE就业课程打下坚实的基础。 可解决的现实问题: 学生具备Java基础,为JavaEE就业班的学习打下基础。 市场价值: 具备Java语言编程基础,但是还不能达到企业的用人标准。 |
2.编程基础 | 1.常量与变量;2.数据类型;3.运算符;4.流程控制语句;5.方法;6.数组 | ||
3.面向对象 | 1.面向对象思想;2.类与对象;3.成员变量和局部变量;4.封装;5.this关键字;6.构造方法 | ||
4.常用类 | 1.Object类;2.Scanner类;3.Random类;4.String;5.StringBuilder类 | ||
5.集合 | 1.集合概述;2.集合特点;3.ArrayList集合 | ||
6.IO | 1.字符输入流;2.字符输出流;3.字符缓冲输入流;4.字符缓冲输出流;5.复制文件;6.集合与文件中数据相互读写 |
2.第一阶段:电商基础架构
阶段划分 | 主要内容 | 技术点 |
第一阶段: 电商基础架构 | 数据库 | Mysql安装配置、SQL语法入门、数据导入导出 |
数据建模、SQL高级查询 | ||
JDBC入门、SQL注入、事务管理、批处理 | ||
连接池(Druid)、DBUtils框架 | ||
静态网站开发与部署 | HTML | |
CSS | ||
JavaScript | ||
BootStrap | ||
Linux常用操作 | ||
Nginx服务器 网页配置 | ||
动态网站开发与部署 | Tomcat服务器、Servlet、Request、Response | |
HTTP协议、Request、Response | ||
JSP入门、JSTL(forEach)、EL、MVC模式 | ||
JQuery基础、选择器、对象、闭包调用 | ||
JQuery DOM 操作、JQuery 事件、Ajax | ||
JQuery Ajax、JSONP | ||
分页综合案例(列表)、三层模式、DAO | ||
Cookie、jQuery读取cookie、Session(登陆) | ||
JavaMail注册、Redis入门、激活码 | ||
log4j、JUL、JCL、Slf4j、Tomcat日志分析 | ||
Filter过滤器 | ||
网站开发三大框架 | Maven | |
MyBatis | ||
Spring | ||
Spring MVC |
3.第二阶段:爬虫搜索系统
阶段划分 | 主要内容 | 技术点 |
第二阶段: 爬虫搜索系统 | 京东爬虫开发 | 网络爬虫 |
Redis、Redis Cluster | ||
Redis Cluster、动态代理 | ||
分布式搜索系统 | Lucene、Solr | |
Solr、Solr Cloud |
4.第三阶段:分布式电商系统
阶段划分 | 主要内容 | 技术点 |
第三阶段: 分布式电商系统 | 电商网站主体架构搭建 | 电商基础知识、背景分析、项目需求分析 |
Dubbo、AngularJS、商家管理平台、网站管理平台 | ||
Dubbo、AngularJS、AngularJS 分页实现 | ||
Dubbo、AngularJS、商家入驻审核、按条件查询商家 | ||
电商网站商品管理 | 电商核心业务实现、图片上传、图片压缩、分布式图片服务器 | |
电商核心业务实现、规格管理、类型管理 | ||
电商核心业务实现、商品分类管理(树形结构) | ||
电商核心业务实现、商品录入、商品审核、商品上架 | ||
电商核心业务实现、商品展示、freemarker静态化 | ||
页面静态化及搜索 | 电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理 | |
电商核心业务实现、Solr、商品及店铺搜索 | ||
电商核心业务实现、Solr、商品及店铺搜索+ 选择区 | ||
单点登录及购物流程实现 | 电商核心业务实现、登录、单点登录(SSO)、我的品优购首页 | |
电商核心业务实现、购物车的实现 | ||
电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成 | ||
电商核心业务实现、支付宝系统对接 ActiveMQ消息队列 | ||
电商核心业务实现、订单查询、我的收藏 | ||
百万级网站部署及优化 | Nginx、Hudson、Solr Cloud | |
Nginx、Keepalived、负载均衡、反向代理、高并发 | ||
Redis Cluster、FreeMarker页面静态化、高并发 | ||
Mycat 数据库分库分表方案、高并发 | ||
Docker容器部署、热部署、高并发 |
5.第四阶段:构建离线数据分析平台
阶段划分 | 主要内容 | 技术点 |
第四阶段: 构建离线数据分析平台 | 大数据分析基础课 | 数据分析、数据分析基本步骤、数据分析师的职业发展、常用的数据分析方法论、大数据时代的思维变革、商业变革、管理变革 |
海量数据分布式存储框架 | 点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop集群搭建 | |
Hadoop HDFS数据存储原理、Flume点击流日志数据采集 | ||
数据仓库管理与数据分析 | 数据仓库基本概念、数据仓库工具HIVE快速入门、创建点击流数据数据仓库、点击流数据分析(HiveSql) | |
点击流数据分析结果导出(Sqoop)、报表平台开发及数据展示、点击流数据分析需求开发 | ||
调度系统使用及说明、Sqoop采集Mysql数据、跨部门数据采集管理之FTP规范、数据质量检测与元数据管理 | ||
Hive高级开发与分布式计算框架 | Hadoop ;HIve ;UDF函数编写、Hadoop ;MapReduce计算模型、Hadoop ;MapReduce ;案例开发;Hadoop ;MapReduce ;案例开发、HadoopMapReduce原理剖析;Hadoop ;NameNode元数据备份、Hadoop ;NameNode ;HA、企业海量数据分析平台规划。 | |
分布式内存计算框架 | 升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程 | |
使用Spark处理业务数据、Spark 核心概念(RDD、DAG)、探讨分布内存文件系统Alluxio的使用 |
6.第五阶段:构建实时数据分析平台
阶段划分 | 主要内容 | 技术点 |
第五阶段: 构建实时数据分析平台 | 实时计算基础课 | 实时计算平台解决方案、Kafka基础与常用API、使用Flume收集数据到Kafka |
使用Storm对数据进行分析、Flume+Kafka+Storm+Redis+Mysql整合 | ||
实时分析系统案例 | 实时日志分析需求、实时日志分析结构说明、实时日志分析代码开发 | |
实时日志系统报表开发、实时业务数据分析 实时业务数据报表开发 | ||
Hbase列式数据库、实时用户行为轨迹、电商网站集成 | ||
推荐系统 | 推荐系统介绍、推荐系统开发流程、使用Mahout的离线计算数据 | |
MapReduce离线数据清洗、Storm实时数据清洗、推荐引擎集成 | ||
大数据搜索系统 | 开源分布式搜索引擎(Elasticsearch、Logstash和Kibana ) | |
开源分布式搜索引擎(Elasticsearch、Logstash和Kibana ) |
7.第六阶段:推荐系统算法与源码分析
阶段划分 | 主要内容 | 技术点 |
第六阶段: 推荐系统算法与源码分析 | Python与机器学习 | Python入门、机器学习概论、机器学习决策树与Python案例 |
机器学习KNN与Python案例、机器学习SVM与Python案例、机器学习神经网络与Python案例 | ||
Scala语言与Spark核心 | Scala基础 | |
Spark Core | ||
分布式框架原理 | Spark源码编译、Master和Worker启动流程源码分析、SparkContext创建过程源码分析、 | |
Master资源调度源码分析、DAGScheduler执行过程、DAG划分Stage过程、TaskScheduler提交Task过程等等 | ||
Storm源码编译、任务提交机制分析、任务分配机制分析、任务执行、任务运行机制等等 | ||
毕业 | 新的征程、新的挑战、新的机遇 |