数仓需求分析与设计

学习目标

项目背景

需求背景

	营销分析断层
	产品迭代无法量化
	用户运营不精准
	全局运营指标监控不实时

项目组成

	数据采集
	数据仓库
	可视化展示
	服务治理

开发目标

	开发一个综合性的数据采集平台，数据分析平台以及数据治理平台

技术架构

		以HDFS作为最底层存储
		以Hive作为数仓基础设施
		以Spark作为核心运算引擎
		以Flume，Data，Azkaban（任务调度），Atlas（元数据管理），Griffin（数据质量监测系统）等作为外围粘合辅助系统
		以Kylin/Clickhouse作为OLAP（联机数据分析）分析引擎

前端展示

		（1）报表与数据可视化平台
		（2）模型分析平台

需求分析

行为域基础（流量）分析

		分析主体概览
			整体概况
				从产品整体的使用情况出发，对产品整体的使用情况有基础了解
			用户获取
				从获客渠道和版本的方向出发，根据不同渠道，不同的版本生成一些可以了解渠道优劣的指标，可以清晰的观察每个渠道的流量，转化等情况
			活跃与留存
				从用户的访问与粘性出发，可以观察出产品在用户访问，回访等方面的趋势变化，清楚地了解用户对产品的粘性和沉浸程度
			事件转化
				根据选择的事件和属性，生成该事件的发生次数，人数，分布等数据指标，可以了解整体的用户转化以及收益相关的数据情况
			用户特征
				根据地址位置，性别，操作系统等一些基础属性，将用户进行分组，方便了解用户的分布占比情况
		整体流量概括（帮助业务人员对产品整体指标有一个大致的了解）
			累计用户量
			每日新增用户量
			每日的全部访问人数，次数
			每日的全部访问的人均次数/时长/深度
			新老用户访问占比
			每日新老用户的分布情况
			新用户/全部用户的7日留存
			各页面的访问次数分布
			访问终端（app/pc web/微信小程序/H5）分布
		访问渠道分析
			新增用户量
			渠道新增用户量
			各渠道新用户人均访问时长
			异常流量
		用户分布分析
			地区
			性别
			系统
			注册时间
			浏览器
		App版本分析
			版本访问流量
			人均访问时长
			各版本留存
		活跃度分析
			访问用户数
			新老用户访问占比
			新老用户人均使用时长
			新老用户启动/访问次数
			每日/每周启动时段
			用户每日访问产品的时段分布
			用户每周访问产品的星期分布
		用户留存/流失分析
			用户活跃
			用户留存
			用户流失
		时间转化分析
			新老用户事件发生次数/人数/人均次数
			时间次数的分布

行为域进阶分析

业务域分析

		概括
			业务域的数据大概包括交易域、营销域、运营活动域等等
		购物车分析
		交易金额分析
		复购率分析
		优惠券分析
		团购分析
		秒杀限时购分析
		其他营销活动
		广告运营位分析
		拉新注册分析
		会员分析（用户画像）

用户画像分析

		基本属性分析
		行为习惯分析
		消费习惯分析
		其他

项目框架

技术选型
考虑因素
数据量大小
业务需求
行业内经验
技术成熟度
开发维护成本
总成本预算
数据采集传输：Flume、Kafka、Sqoop、DataX、Logstash
数据存储：Mysql、HDFS、HBase、Redis、MongoDB
数据计算：Hive、Tez、Spark、Flink、Storm
数据查询：Presto、Kylin、Impala、Druid
数据可视化：Echarts、Superset、QuickBI、DataV
任务调度：Azkaban、Oozie、DolphinScheduler
集群监控：Zabbix、Ganglia、Prometheus
元数据管理：Atlas

系统数据流程设计

组件版本选型

		框架选型尽量不要选择最新的框架，选择最新框架半年前左右的稳定版

服务器选型

集群资源规划设计

		1，确认集群规模
		2，如果考虑数仓分层和数据压缩，需要重新计算
		3，服务器规划

流程设计

数据生成

		用户行为日志数据需要在业务系统的前端（或后端）中做埋点
		业务数据已经在业务系统的数据库中
		历史数据
		其他第三方数据

数据采集汇聚

		行为域数据
		业务域数据

数据仓库&用户画像

数据服务& OLAP分析平台

其他辅助系统