1. 学习目标
了解知行教育大数据的项目背景
了解知行教育大数据的看板划分
了解项目技术架构
了解ClouderaManager的应用场景
掌握ClouderaManager架构
能够使用Vmware虚拟机环境
2. 项目简介
知行教育大数据分析平台,突出的是“真”,此项目是传智播客联合三方K12教育机构共同研发,并在上线发布后转换为课程,过程真实细致,采用主流的大数据技术和工具,内容特点:
1.包含了需求分析、设计转换、研发、测试到上线部署维护的完整项目流程。
2.真实的教育大数据业务逻辑,包括:访问、咨询、意向、线索、报名、考勤等各个阶段,大幅提升学员在教育行业中的竞争力。
3.深入讲解数据仓库的分层与建模过程。
4.海量数据场景下的性能优化。
5.拉链表的具体应用、对变化的更新数据进行存储和分析。
6.每个公司都会要求使用的版本控制工具。
7.大公司、核心项目必备的Code Review技能。
8.可视化部署与运维大数据环境。
3.企业痛点
1.数据量大,现有MySQL业务数据库直接读取模式不能满足业务统计性能、效率需要
2.系统多、数据分散,缺少从营销、咨询、报名、教学等等完整业务环节的数据贯通
3.统计分析难度高、工作量大。缺少元数据、数据集合的规范存储,业务部门有数据分析角度需求时,需要程序员、DBA突击查数据、做报表,尤其年底各个部门排队等DBA协助出数据
4.大数据技术的应用
1.建立集团数据仓库&#x