24_多易教育之《yiee数据运营系统》OLAP平台-运营分析篇

目录

一、技术框架选型

二、web页面框架搭建

三、固化报表展现开发–表格形式

        1、需求说明
        2、前端页面开发
        3、后端controller
        4、后端service
        5、后端dao

四、固化报表展现开发–echarts图

        1、需求说明
        2、前后端分离开发
        3、前端页面开发
        4、后端controller层
        5、后端service层
        6、后端dao层

五、自定义联机分析-漏斗分析

        1、需求说明
        2、设计
        3、前端页面开发
        4、后端controller
        5、后端service
        6、后端dao

多易教育,专注大数据培训; 课程引领市场,就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn

一、技术框架选型

vueJs/layui/jquery
echarts
springboot
presto

二、web页面框架搭建

基于layui打造web页面框架,如下图所示:
在这里插入图片描述

三、固化报表展现开发–表格形式

        1、需求说明

如下图所示,将数仓中的流量概况报表按表格形式查询展现
在这里插入图片描述

        2、前端页面开发

在这里插入图片描述

        3、后端controller

在这里插入图片描述

        4、后端service

在这里插入图片描述

        5、后端dao

在这里插入图片描述

四、固化报表展现开发–echarts图

1、需求说明

将数仓中的日新报表,按如下柱状图形式进行查询展现;
在这里插入图片描述

2、前后端分离开发
后端数据服务的URL:  /dau/bar

后端返回的数据格式: json
{
   xaxis:['2019-12-08','2019-12-09',......],
   data:[50,80,120,90,.......]
}
3、前端页面开发

《详见项目代码》

4、后端controller层

《详见项目代码》

5、后端service层

《详见项目代码》

6、后端dao层

《详见项目代码》

五、自定义联机分析-漏斗分析

1、需求说明

运营分析人员,可以在平台上动态创建自定义的漏斗模型,可以自由设计转化路径的步骤个数,及制定转化步骤上的事件定义及事件属性约束条件;
并能在定义好漏斗模型后,实时得到漏斗转化率查询计算结果;
在这里插入图片描述
在这里插入图片描述

2、设计
3、前端页面开发

前端页面上,要能够实现通过点击“增加步骤、条件”按钮来动态添加表单
前端页面上,要能够收集到这个复杂表单的数据,并进行有机组合,参数的规范如下:

[
	{
		"evid": "aaaa",
		"attrobjs": [
			{
				"atr": "x",
				"ope": "=",
				"con": "1"
			},
			{
				"atr": "y",
				"ope": "=",
				"con": "2"
			}
		]
	},
	{
		"evid": "bbbb",
		"attrobjs": [
			{
				"atr": "z",
				"ope": "=",
				"con": "3"
			},
			{
				"atr": "t",
				"ope": "=",
				"con": "4"
			}
		]
	}
]

前端页面,要能够发送ajax请求到后台来请求数据,并要求返回的数据格式为:

[
                {value: 60, name: '访问'},
                {value: 40, name: '咨询'},
                {value: 20, name: '订单'},
                {value: 80, name: '点击'},
                {value: 100, name: '展现'}
]

在这里插入图片描述

4、后端controller

要能够解析前端传入的参数
《详见项目代码》

5、后端service

并根据参数,生成查询sql
将结果整理成前后端交互所规定的数据形式,并返回
《详见项目代码》

6、后端dao

将sql通过jdbc发送给presto执行,并获取结果
《详见项目代码》

多易教育,专注大数据培训; 课程引领市场,就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
课程简介:  本项目课程是一门极具综合性和完整性的大型项目课程;课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。 本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大型数据运营系统。  拒绝demo,拒绝宏观抽象,拒绝只讲不练,本课程高度揉和理论与实战,并兼顾各层次的学员,真正从0开始,循序渐进,每一个步骤每一个环节,都会带领学员从需求分析开始,到逻辑设计,最后落实到每一行代码,所有流程都采用企业级解决方案,并手把手带领学员一一实现,拒绝复制粘贴,拒绝demo化的实现。并且会穿插大量的原创图解,来帮助学员理解复杂逻辑,掌握关键流程,熟悉核心架构。   跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建......逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。  由于本课程不光讲解项目的实现,还会在实现过程中反复揉和各种技术细节,各种设计思想,各种最佳实践思维,学完本项目并勤于实践的话,学员的收获将远远超越一个项目的具体实现,更能对大型数据系统开发产生深刻体悟,对很多技术的应用将感觉豁然开朗,并带来融会贯通能力的巨大飞跃。当然,最直接的收获是,学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER课程模块: 1. 数据采集:涉及到埋点日志flume采集系统,sqoop业务数据抽取系统等; 2. 数据预处理:涉及到各类字典数据构建,复杂结构数据清洗解析,数据集成,数据修正,以及多渠道数据的用户身份标识打通:ID-MAPPING等;3. 数据仓库:涉及到hive数仓基础设施搭建,数仓分层体系设计,数仓分析主题设计,多维分析实现,ETL任务脚本开发,ETL任务调度,数据生命周期管理等;4. 数据治理:涉及数据资产查询管理,数据质量监控管理,atlas元数据管理系统,atlas数据血缘管理等;5. 用户画像系统:涉及画像标签体系设计,标签体系层级关系设计,各类标签计算实现,兴趣类标签的衰减合并,模型标签的机器学习算法应用及特征提取、模型训练等;6. OLAP即席分析平台:涉及OLAP平台的整体架构设计,技术选型,底层存储实现,Presto查询引擎搭建,数据服务接口开发等;7. 数据服务:涉及数据服务的整体设计理念,架构搭建,各类数据访问需求的restapi开发等;课程所涉及的技术: 整个项目课程中,将涉及到一个大型数据系统中所用到的几乎所有主要技术,具体来说,包含但不限于如下技术组件:l Hadoopl Hivel HBasel SparkCore /SparkSQL/ Spark GRAPHX / Spark Mllibl Sqoopl Azkabanl Flumel lasal Kafkal Zookeeperl Solrl Prestop

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值