大数据-数仓分层之ADS

最新推荐文章于 2024-05-17 14:57:54 发布
最新推荐文章于 2024-05-17 14:57:54 发布
阅读量2.8k 收藏
点赞数
分类专栏： 大数据 经验分享 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44704261/article/details/111939850
版权
经验分享 同时被 3 个专栏收录
26 篇文章 0 订阅
订阅专栏
linux
26 篇文章 1 订阅
订阅专栏
大数据
16 篇文章 2 订阅
订阅专栏

ADS层描述

ads层主要就是最后需要分析的数据，可以从各种纬度，这就需要根据业务来判断最后选择哪一些纬度来进行分析，比如经典的就是，根据地区来展示地图，看每个地区的人每天的下单数量，或者一段时间内的下单数量
在这里插入图片描述
到这一层直接启动脚本就可以了：

[root@hadoop102 bin]$ dwt_to_ads.sh 2020-06-18
爱搞技术的吴同学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
12.数据仓库搭建之ADS层搭建
Mmj666的博客
07-14 3149
12.数据仓库搭建之ADS层搭建
数据仓库
单色冰灵的博客
03-06 3841
数据库和数据仓储的区别: > 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 > 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 > 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。 （维是看问题的角度，...
离线仓库ODS-DWD-DWS-ADS
最新发布
jshxk的博客
05-17 494
离线数仓分层设计
数仓搭建 ADS层（一）
weixin_45417821的博客
11-02 2117
文章目录建表说明访客主题访客统计路径分析用户主题用户统计用户变动统计用户行为漏斗分析用户留存率商品主题商品统计品牌复购率 建表说明 ADS层不涉及建模，建表根据具体需求而定。 访客主题 访客统计 该需求为访客综合统计，其中包含若干指标，以下为对每个指标的解释说明。 指标 说明 对应字段 访客数 统计访问人数 uv_count 页面停留时长 统计所有页面访问记录总时长，以秒为单位 duration_sec 平均页面停留时长 统计每个会话平均停留时长，以秒为单位 avg_duration
数据仓库之电商数仓-- 3.4、电商数据仓库系统(ADS层)
FunnyPrince_的博客
10-24 1794
#!/bin/bash APP=gmall if [ -n "$2" ] ;then do_date=$2 else echo "请传入日期参数" exit fi dws_visitor_action_daycount=" insert overwrite table ${APP}.dws_visitor_action_daycount partition(dt='$do_date') select t1.mid_id, t1.brand, t1.model
数据仓库搭建ADS层
qq_55906442的博客
05-27 3462
本篇只是ADS层，其他内容请关注我的博客！在<项目>专栏里！！！ 本篇文章参考尚硅谷大数据项目写成！ 搭建ADS层 ADS层不涉及建模，建表根据具体需求而定。 一、设备主题 1.1活跃设备数（日、周、月） 需求定义： 日活：当日活跃的设备数 周活：当周活跃的设备数 月活：当月活跃的设备数 1）建表语句 create external table ads_uv_count( `dt` string COMMENT '统计日期', `day_count...
大数据项目之电商数仓（2用户行为数据仓库）.docx
11-18
大数据项目之电商数仓（用户行为数据仓库） 本资源摘要信息是关于大数据项目之电商数仓（用户行为数据仓库）的知识点总结。电商数仓是指基于大数据技术的电商平台数据仓库，旨在提供数据分析和数据挖掘的解决方案。...
尚硅谷大数据项目之电商数仓电商数据仓库系统1
08-04
【尚硅谷大数据项目之电商数仓电商数据仓库系统1】主要涵盖了数据仓库的构建和理论，包括数仓分层、命名规范、范式理论、关系建模与维度建模，以及核心的维度表和事实表。 1. **数仓分层**：数据仓库的分层设计是...
大数据项目实战之在线教育（02数仓实现）.doc
11-23
第 1 章 数仓分层概念介绍了数仓的分层概念，包括 ODS、DWD、DWS 和 ADS 四个层次。每个层次都有其特定的功能和命名规范，例如 ODS 层命名为 ods，DWD 层命名为 dwd 等。 在第 2 章 环境准备中，介绍了大数据项目的...
大数据项目之电商数仓（3电商数据仓库系统）V4.2.2.docx
09-07
《大数据项目之电商数仓（3电商数据仓库系统）V4.2.2》文档主要阐述了电商领域的大数据处理和数据仓库构建的关键概念和技术。本文档的核心内容围绕数仓的分层、理论基础以及数据建模方法展开。 首先，数仓的分层...
13天玩转千亿级数仓项目视频教程（离线+实时）
07-15
1. 数仓典型分层思想（ODS、DWB、DWS、DM、ADS） 2. 数仓建设0到1的过程实战 3. 企业级数据仓库设计的规范 阶段四：基于Kylin的OLAP分析 1. Kylin自带的example案例介绍 2. Kylin的Cube创建 3. Kylin的数据膨胀介绍 ...
尚gg大数据项目实战电商数仓系统开发教程.txt
07-24
51_用户行为数仓_数仓分层.avi4 W _. ]: j5 U; l$ Q9 l. Q [/ u 52_用户行为数仓_数据集市与数据仓库概念.avi5 U5 c# e( Y8 B% c 53_用户行为数仓_数仓命名规范.avi 54_用户行为数仓_Hive&MySQL;安装.avi 55_用户...
大数据架构演进之路.docx
11-12
典型的离线数仓分层包括ODS（操作数据存储）、DW（数据仓库）、DWD（数据明细层）、DWS（数据服务层）和ADS（应用数据服务层）。这种分层结构旨在提高数据的清洗、整合和分析效率，为决策支持提供支持。 离线数仓的...
大数据面试宝典.docx
05-03
4. **数仓分层**：ODS（Operational Data Store）层保存原始数据，DWD（Data Warehouse Detail）层进行数据清洗和过滤，DWS（Data Warehouse Service）层提供汇总数据，ADS（Application Data Service）层面向业务...
数仓规范文档.rar
05-30
常见的分层包括源系统（Source）、数据接入层（ETL或ELT）、数据清洗层（DWD）、数据汇总层（DWS）以及最终的应用展示层（ADS）。每个层次都有其特定的功能，如源系统负责原始数据的采集，数据接入层进行数据抽取、...
系列 | 漫谈数仓第一篇NO.1 『​基础架构』
01-20
数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四层架构：ods->dwd->dws-ads，bdl->fdl->gdl->adl等。 技术选型，传统数仓一般以Oracle、greenplum、...
离线数仓（十）【ADS 层开发】
m0_64261982的博客
04-05 1049
ADS 层开发
电商数仓(ads 层)
a1786742005的博客
05-05 8646
一、ads 层介绍 对电商系统各大主题指标分别进行分析，本项目中分析了四大主题·：设备主题、会员主题、商品主题、营销主题。 二、业务术语 1、用户 用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android 系统根据 IMEI 号，IOS 系统根据 OpenUDID 来标识一个独立用户，每部手机一个用户。 2、新增用户 首次联网使用应用的用户。如果一个用户首次打开某 APP...
大数据实时项目(ads层)
okbin1991的博客
11-09 529
第一章ADS聚合层 ads层，主要是根据各种报表及可视化来生成统计数据。通常这些报表及可视化都是基于某些维度的汇总统计。 1需求 热门商品统计(作业) 热门品类统计(作业) 热门品牌统计 交易用户性别对比(作业) 交易用户年龄段对比(作业) 交易额省市分布(作业) 2分析 以热门商品统计为例 统计表分为三个部分 时间点、 维度 、 度量 时间点：即统计结果产生的时间，或者本...
大数据与传统数仓分层的区别
07-12
大数据与传统数仓在分层上存在一些区别。 传统数仓通常采用经典的三层架构，包括操作层（ODS）、集成层（DWH）和应用层（OLAP）。在这种架构下，数据从操作系统抽取到ODS层，再经过清洗、集成和变换等处理，加载到DWH层，最后通过OLAP工具提供给业务应用。 而大数据分层架构通常包括原始数据层、数据处理层和数据应用层。 1. 原始数据层：大数据架构中的原始数据层类似于传统数仓中的操作层（ODS），用于存储从各种数据源获取的原始数据。这些数据可以是结构化数据、半结构化数据或非结构化数据，例如日志文件、传感器数据等。 2. 数据处理层：大数据架构中的数据处理层负责对原始数据进行处理和转换。这一层通常包括数据提取、转换和加载（ETL）过程，以及数据存储和处理的技术，如Hadoop、Spark、Hive等。数据处理层的目标是实现数据的清洗、聚合、计算和建模等操作，以便为数据应用层提供准备好的数据。 3. 数据应用层：大数据架构中的数据应用层类似于传统数仓中的应用层（OLAP）。这一层主要用于数据分析、数据挖掘和业务智能等应用。数据应用层可以使用各种工具和技术，如机器学习、数据可视化和实时分析等，来探索和发现数据中的模式、趋势和洞察，并为业务决策提供支持。 总的来说，大数据架构与传统数仓在分层上的区别主要在于原始数据层和数据处理层的引入。大数据架构更加灵活和可扩展，可以处理各种类型和规模的数据，而传统数仓则更适用于结构化数据和传统的数据处理方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值