大数据学习规划

 

所处阶段

主讲内容

技术要点

学习目标

第一阶段 
     Java语言编程基础

计算机基础

DOS常用命令;Java概述;JDK环境安装配置;环境变量配置;Java程序入门

能力养成:
能够掌握DOS系统常用基本命令; 

熟练使用eclipse编写java代码;

 熟练使用java语言的常用对象; 

使用java编写单机应用程序;
掌握面向对象编程思想,

为以后深入学习JavaEE就业课程打下坚实的基础。
具备能力及市场价值:
能够完成B/S结构网站开发,具备了真实环境的

项目部署能力,能够完成中小型企业管理系统等

传统项目 的开发。
市场价值:
继续努力学习

编程基础

常量与变量;数据类型;运算符;流程控制语句;方法;数组

面向对象

面向对象思想;类与对象;成员变量和局部变量;封装;this关键字;构造方法 

常用类

Object类;Scanner类;Random类;String;StringBuilder类

集合操作

集合概述;集合特点;ArrayList集合

IO操作

字符输入流;字符输出流;字符缓冲输入流;字符缓冲输出流;复制文件;集合与文件中数据  相互读写

      第二阶段 
        JavaWeb核心技术

Java基础增强

多线程、网络编程、反射、注解及动态代理

核心能力培养:
运用常用的网页开发技术设计网页; 

掌握WEB系统交互原理;
掌握JavaWeb开发核心技术;
运用JavaWeb核心技术完成简单功能实现;
掌握JavaWeb高级技术

创建更好的Web应用程序; 

具备B/S结构软件开发能力。


具备能力及市场价值:
能够完成B/S结构网站开发,具备了真实环境的

项目部署能力,能够完成中小型企业管理系统等

传统项目的开发。

 

数据库操作

MySQL数据库、JDBC开发、数据库连接池、DBUtils、JDBC事务管理、表操作、索引 

前端技术基础

html、css、js、jQuery、BootStrap ajax、jQuery的ajax

JavaWeb核心

Tomcat、Servlet、Request和Response、Cookie和Session、jsp,el和jstl、Filter、Listener、ajax

Linux服务器

Linux常用操作、Redis安装部署、tomcat部署、nginx部署

javaWeb综合项目实战

缓存技术、JavaMail、在线支付、文件上传、Linux项目部署

 

  第三阶段:
      网站开发三大框架

项目构建及管理

Maven项目构建、管理、编译、仓库配置,SVN服务器部署、SVN客户端、自动化部署

核心能力培养:
掌握SSM框架,使用SSH框架开发出结构清晰、

可复用性好、维护方便的Web应用程序; 

掌握如何使用Maven管理项目工程;
掌握数据库的相关技术;
掌握系统开发中的性能、可扩展性及维护性的提升; 
通过项目实战熟练掌握SSM框架的使用。


具备能力及市场价值:
能够使用SSH框架完成传统企业级项目开发,

熟悉多种业务流程,丰富项目开发经验。 

 

数据库操作框架

mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、mybatis输入输出映  射、动态sql、spring整合mybatis

Spring框架

applicationContext、xml配置文件编写、IoC思想、DI依赖注入、使用AspectJ切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合

SpringMVC框架

springmvc框架原理、springmvc入门案例、springmvc整合mybatis、参数绑定、json数据交互、拦截器

CRM项目实战

使用springmvc+spring4+mybatis+svn来开发项目、使用BootStrap 进行布局

 

 

   第四阶段:
     互联网搜索及爬虫

单机爬虫开发

网络爬虫基础、网络编程基础、HttpClient网络请求、Jsoup网络解析、自动登录系统 

核心能力培养:
掌握网络爬虫开发技术、能够获取互联网数据;

掌握中文分词,并能够进行词库维护及管理;
了解图片识别及验证码识别技术;
掌握搜索技术,能够快速搭建企业级高性能

搜索系统理解分布式核心思想的分片及副本机制。

具备能力及市场价值:
能够利用技术手段获取互联网的数据能够构建企业级搜索系统。

市场价值:
8000-10000元。

爬虫高级开发

京东爬虫、浏览器debug、浏览器插件、Ajax数据获取、多线程线程池、并发包阻塞队列

分布式爬虫

分布式爬虫架构、分布式爬虫开发、简单验证码识别、爬虫攻防技术、分部署爬虫部署

搜索系统技术

搜索系统基础、倒排索引、创建索引库、查询索引库、中文分词、中文词库扩展及管理

搜索系统框架

Solr基础、在Linux部署solr、创建搜索引擎核心Core、创建索引、查询索引

分布式搜索系统

solr cloud集群、solr集群分片管理、solr集群副本管理、部署solr cloud,操作索引

   第五阶段: 
   
分布式电商系统

 

电商网站主体架构搭建

电商基础知识、背景分析、项目需求分析

核心能力培养:
电商网站核心业务开发:商家管理、商品管理、

库存管理、购物车、订单、支付、物流等

高性能网站技术:静态化技术、缓存技术、

分库分表技术、服务化治理技术;
使用分布式服务化治理框架Dubbox开发微服务

系统使用静态化技术、缓存技术、分库分表技术

提高系统性能。

具备能力及市场价值:
能够独立完成中小型网站整体架构,承载百万级并发访问能够独立完成电商网站核心业务系统开发。

市场价值:
10000-12000元。

Dubbo、AngularJS、商家管理平台、网站管理平台

Dubbo、AngularJS、AngularJS 分页实现

Dubbo、AngularJS、商家入驻审核、按条件查询商家

电商网站商品管理

电商核心业务实现、图片上传、图片压缩、分布式图片服务器

电商核心业务实现、规格管理、类型管理

电商核心业务实现、商品分类管理(树形结构)

电商核心业务实现、商品录入、商品审核、商品上架

电商核心业务实现、商品展示、freemarker静态化

页面静态化及搜索

电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理

电商核心业务实现、Solr、商品及店铺搜索

电商核心业务实现、Solr、商品及店铺搜索+ 选择区

单点登录及购物流程实现

电商核心业务实现、登录、单点登录(SSO)、我的品优购首页

电商核心业务实现、购物车的实现

电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成

电商核心业务实现、支付宝系统对接  ActiveMQ消息队列

电商核心业务实现、订单查询、我的收藏

百万级网站部署及优化

Nginx、Hudson、Solr Cloud

Nginx、Keepalived、负载均衡、反向代理、高并发

Redis Cluster、FreeMarker页面静态化、高并发

Mycat 数据库分库分表方案、高并发

Docker容器部署、热部署、高并发

   第六阶段: 
 
大数据离线计算

基础增强

Linux增强、zookeeper与网络通信、网络编程增强

核心能力培养:
掌握离线数据收集、数据存储、数据计算

任务调度、数据导入导出、数据报表开发技术 

掌握用户日志分析系统(业务分析、编码实现

调度配置、数据导出、数据可视化);

掌握数据仓库管理、元数据管理、数据稽查等

常见处理技术掌握Hadoop高可用配置及管理。

具备能力及市场价值:
能够胜任离线相关工作,包括ETL工程师

任务调度工程师、Hive工程师、数据仓库工程师等。 

市场价值:
12000-14000元。

大数据平台

Hadoop介绍、集群规划及部署

数据收集

大数据生态概念、用户网络日志收集系统、Flume数据收集

数据存储

Hadoop HDFS基本操作、Hadoop HDFS原理、 Hadoop HDFS应用开发

数据计算

Hadoop MapReduce、MapReduce入门、MapReduce深入

数据管理

数据管理、数据仓库、Hive数据仓库工具

案例分析

网站日志分析系统(上)、采集预处理、工作流调度器

数据分析

网站日志分析系统(下)、ETL、统计分析、Sqoop数据导出、数据可视化

核心增强

MapReduce核心、YarnMapReduce核心机制课程设计

核心提高

Hadoop新特性、元数据、安全模式、HA、Federation、Hadoop Archives、CDH

 

 

第七阶段:
大数据实时计算

实时数据储存

Kafka基础、Kafka分片及副本机制、Kafka消息不丢失、offset管理、FLume基础

核心能力培养:
掌握实时数据收集、数据存储、数据计算

任务调度、数据导入导出、数据报表开发技术;
掌握互联网行为数据分析/用户看板/互联网交易风险

控制系统案例(业务知识、技术开发、实时架构);  
掌握实时数据数据存储(Hbase/Redis),查询操作(ElasticSearch)等技术;
掌握推荐系统开发整体架构、数据清洗、数据调度

数据导入导出、推荐引擎开发。

具备能力及市场价值:
能够胜任实时相关工作,包括ETL工程师

Storm工程师、搜索系统工程师初级推荐系统工程师等。 

市场价值:
13000-15000元。

实时数据计算

Storm基础、Storm架构、Storm编程模型、Storm消息不丢失机制、Storm核心原理

实时计算案例

互联网行为数据分析(flume+kafka+storm+redis+mysql+管理),任务定时更新机制

实时计算案例

用户看板/互联网交易风险控制系统(flume+kafka+storm+redis+mysql+管理)

实时数据存储

Hbase部署、原理、常用操作;Redis集群部署、一致性Hash算法、布隆过滤器算法

实时数据查询

ELK基础、ElasticSearch分布式搜索系统、创建索引、查询索引、ELK集成操作

推荐系统开发

推荐系统架构、协同过滤算法、猜你喜欢推荐模型开发、推荐引擎开发、推荐系统展现

Spark基础

Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型

Spark RDD

RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、Spark任务调度、checkpoint、RDD编程实战

Spark SQL

Spark SQL概述、DataFrame、DataFrame常用操作、DataSet介绍、SparkSQL整合JDBC、Spark on Yarn

Spark Streaming

概述、与Storm的对比、Spark Streaming原理、DStream操作实战、开窗函数、整合Flume、整合Kafka

项目实战阶段

互联网电商用户画像建模、开发、数据导入、数据存储(Hbase+Phoenix)、可视化

 

 

     第八阶段:
    大数据内存计算

Scala语言基础

Scala基础语法、Scala高级特性、Scala的Akka编程实战

核心能力培养:
掌握Spark基础、Spark RDD、Spark SQL、Spark Streaming开发技术;
掌握互联网电商用户画像建模、开发、可视化

(业务知识、技术开发、架构) 掌握数据数据存储

及存储(Hbase+Phoenix)。

具备能力及市场价值:
能够胜任Spark相关工作,包括ETL工程师

Spark工程师、Hbase工程师、用户画像系统工程师

等目前企业急缺Spark相关人才。

市场价值:
15000+元

Spark基础

Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型

Spark RDD

RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、Spark任务调度、checkpoint、RDD编程实战

Spark SQL

Spark SQL概述、DataFrame、DataFrame常用操作、DataSet介绍、SparkSQL整合JDBC、Spark on Yarn

Spark Streaming

概述、与Storm的对比、Spark Streaming原理、DStream操作实战、开窗函数、整合Flume、整合Kafka

项目实战阶段

互联网电商用户画像建模、开发、数据导入、数据存储(Hbase+Phoenix)、可视化

 

 

 

       第九阶段:
    机器学习基础

机器学习基础概念

机器学习基础、环境搭建、Scikit-learn机器学习库、第一个机器学习任务

核心能力培养:
了解机器学习基本概念、流程、常见算法。
能够使用算法解决简单的业务问题(特征提取

模型设计、代码开发、效果评测)。

具备能力及市场价值:
机器学习入门,能够解决简单的业务问题。

市场价值:
17000+元

机器学习决策树模型

决策树的实例、决策树的基本概念和算法、电商实例ID3算法详解、经典案例 

机器学习KNN模型

KNN实例、KNN分类算法入门、KNN算法步骤详解、KNN算法实战

机器学习SVM支持向量机

SVM实例、SVM分类算法入门、算法步骤详解、SVM实战手写体识别案例

机器学习感知机与BP神经网络

感知机模型、BP神经网络模型、神经网络算法实战、经典案例

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值