大数据电商数仓
文章平均质量分 63
啊啊阿南啊
这个作者很懒,什么都没留下…
展开
-
2 大数据电商数仓项目——项目需求及架构设计
2 大数据电商数仓项目——项目需求及架构设计2.1 项目需求分析用户行为数据采集平台搭建。业务数据采集平台搭建。数据仓库维度建模(核心):主要设计ODS、DWD、DWS、AWT、ADS等各个层的具体功能与实现方法。分析设备、会员、商品、地区 、活动等电商核心主题,统计的报表指标近100个。采用即席查询工具,随时进行指标分析。对集群性能进行监控,发生异常需要报警。元数据管理:最常用的是hive元数据以及存于MySQL中的,能够帮助实现任务调度中的可视化实现。数据质量监控:主要是监控数据的变原创 2021-09-06 16:04:04 · 2409 阅读 · 0 评论 -
1 大数据电商数仓项目——数仓概念
数据仓库概念**数据仓库(Data Warehouse):**为企业决策提供数据支撑,帮助企业改进业务流程、提高产品质量等,同时也提供数据存储、分析、计算作用。数据仓库的输入数据通常包括:业务数据、用户行为数据、爬虫数据等。业务数据:通常与MySQL后台产生交互的数据。通常使用sqoop框架。用户行为数据:记录用户在网站前端所进行的各种活动、行为等的日志记录数据,可进行埋点,跟踪用户行为,分析用户行为心理。通常使用flume框架。爬虫数据:爬取别的网站的数据,但容易产生侵权等的违法违规问题。原创 2021-08-23 16:32:03 · 351 阅读 · 0 评论