**离线电商数仓学习笔记day01**

最新推荐文章于 2024-03-07 13:14:36 发布
最新推荐文章于 2024-03-07 13:14:36 发布
阅读量398 收藏 1
点赞数 3
分类专栏： 离线数仓 文章标签： kafka hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/J1NX1N/article/details/108060795
版权

离线电商数仓学习笔记01-数仓概念及架构设计

数仓概念

数据仓库（Data Warehouse）是为企业所有部门决策制定过程，提供所有系统数据支持的数据集合。与数据仓库相类似的集合叫数据集市（Data Mart）,它是满足特定部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。
数据仓库并不是数据的最终目的地，而是为数据最终目的地做好准备。准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。
数仓流程图数仓概念图如上所示，数据来源主要为日志采集系统、业务系统数据库、爬虫系统等，经过ETL数据清洗储存在数据仓库中，并为报表系统、用户画像、推荐系统等提供数据支持与服务。

数仓架构

技术选型

数据采集传输：Flume,Kafka,Sqoop
数据储存：Mysql,HDFS
数据计算：Hive,Tez,Spark
数据查询：Pre

最低0.47元/天 解锁文章
J1nX1N
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
**离线电商数仓学习笔记day03**
J1NX1N的博客
08-17 173
离线电商数仓学习笔记01-数据采集模块安装01 安装Hadoop 虚拟机环境准备 （1）克隆虚拟机（Hadoop102 hadoop103 hadoop104） （2）修改克隆虚拟机的静态IP （3）修改主机名（与第一步主机名一致） （4）关闭防火墙 （5）在/opt目录下创建software、module文件夹 [root@hadoop102 opt]$ sudo mkdir module [root@hadoop102 opt]$ sudo mkdir software 安装JDK （1）检查是否安
电商离线数仓(一)
宋荣子的博客
05-03 1280
离线数仓项目
电商数仓笔记4_业务数据采集平台（电商业务简介，业务数据采集模块，数据环境准备）
weixin_60440795的博客
08-21 1001
电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。
5.1.1 电商离线数仓(数仓需求分析、日志采集、表数据加载、json数据处理、 Datax 数据导出、Tez高仿日启动测试)
weixin_47134119的博客
04-04 3997
电商离线数仓 文章目录电商离线数仓一、电商离线数仓设计第1节 需求分析电商业务简介第2节 数据埋点第3节 数据指标体系第4节 总体架构设计4.1、技术方案选型框架选型**软件选型**服务器选型集群规模规划4.2、系统逻辑架构4.3、开发物理环境4.4、数据仓库命名规范二、 电商分析之--会员活跃度第1节 需求分析计算指标：指标口径业务逻辑：第2节 日志数据采集2.1、taildir source配置2.2、hdfs sink配置2.3、Agent的配置2.4、Flume的优化配置2.5、自定义拦截器
复盘离线电商数仓3.0项目–数据开发梳理
m0_46168848的博客
03-24 3878
复盘离线电商数仓项目–数据开发梳理 业务数据 数仓分层 ods层到ads层的开发 开源BI工具Superset ODS层业务数据&日志数据 ods层业务数据 使用Sqoop脚本从Mysql数据库拉取数据落盘到hdfs 然后创建ods层的外部表_分区表 使用封装好的shell脚本将数据load到对应的表中，脚本如下(参考模板)： #!/bin/bash APP=gmall hive=/opt/module/hive/bin/hive # 如果是输入的日期按照
尚硅谷大数据项目之电商数仓用户行为采集平台1
08-04
第 1 章 数据仓库概念尚硅谷大数据项目之电商数仓（用户行为数据采集）更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
尚硅谷大数据项目之电商数仓（2用户行为数据仓库）.rar
09-16
尚硅谷大数据项目之电商数仓（2用户行为数据仓库），你值得拥有，欢迎一起学习和交流！！！
mybatis框架-学习笔记Day01.rar
03-26
本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记...
Python 重定向及*、**探讨(python编程学习笔记)
01-06
python的重定向问题 1 基础概念 1.1 标准流 sys模块提供了python的标准输入（sys.stdin），标准输出（sys.stdout），错误流（sys.stderr）。print和input只是标准输出/输入流的接口。 #　标准输出例子 ...
尚gg大数据项目实战电商数仓系统开发教程.txt
07-24
01_数仓项目介绍.avi4 b4 Q* Q8 Z0 Y) C6 O! w 02_数仓采集_用户行为采集课程介绍.avi8 \7 f3 O. c- {: v# W& V$ Y& b 03_数仓采集_数仓的概念.avi8 Z# X* q/ c; }3 A* [ T 04_数仓采集_项目需求.avi6 B8 n s0 h! M4...
企业电商离线数仓(上)1
08-04
项目背景人类正从IT时代走向DT(Data Technology)时代。在DT时代，人们比以往任何时候更能收集到更丰富的数据。IDC 的报告显示：预计到2020
电商离线数仓项目-用户行为数仓(活跃/新增/留存主题)
weixin_43586713的博客
10-05 1496
电商离线数仓项目,分四层搭建,基本框架搭建好了之后,编写具体的需求.这些需求主要是在DWS层和ADS层两层进行搭建。 用户活跃主题 目标就是统计日活/周活和月活的每个设备明细。 思路:首先要明确活跃的定义,在这里用户当日活跃记录为用户使用该设备登录过APP,那么也就是说启动表中只要有mid(设备唯一标识)字段,则记为1次的活跃。所以不管一台设备一天切换了多少个用户登录APP,都是只看设备的唯一标识这个字段mid,记录成一次活跃。 所以可以写成如下:通过从启动事件日志表里面对mid_id字段进行groupby
离线电商数仓-用户行为采集平台-第4章 用户行为数据采集模块
书程序乐园
10-20 387
本章节，学习了hadoop，zookeeper,kafka,flume的安装与配置，以及日志采集flume
离线电商数仓业务浅谈
勇敢牛牛，不怕困难！
02-23 1231
​    也就是说，DIM层已经对事实描述的角度做出了处理，例如商品维度表抽取了ODS层的如下图8张表，对于商品来说，商品只是描述问题的维度，在后面的数据处理中，只需要对这一维度进行描述即可。​    从ODS层知道，我们获取的只是对应的日志文件，那么必然要进行拆分，放入不同的数据表中，这里分为启动日志，页面日志，动作日志，曝光日志，错误日志五张表。后台数据库进行增删改查交互，产生的数据就是业务数据。实的角度，也就是我们所说的维度，在完成需求的时候，需要结合描述事实的角度，与事实的度量，相结合的方式。
离线电商数仓-用户行为采集平台-第1章 数据仓库概念
书程序乐园
10-14 236
本博客是学习记录，可能存在错误，仅供参考。如发现错误，欢迎在评论区指正，我会及时修改。同时也希望大家能在评论区多和我讨论（例如帮助我解决文中的#疑问），或者私信我，讨论可以让我们学习效率一起变得更高。现在的版本不是最终版本，我会在学习过程中不断地更新。数仓仓库是为企业制定决策，提供数据支持数仓仓库不是数据的最终目的，数据进入仓库后，需要进行计算分析，形成各种指标，然后展示提供给需要的人。源数据层（ODS）做数据的备份，防止一些误操作，把原数据删除或者覆盖了。
**离线电商数仓学习笔记day05**
J1NX1N的博客
08-19 386
离线电商数仓学习笔记02-数仓分层 数仓分层 1 为什么要数仓分层 （1）复杂问题简单化：可以将一个复杂的任务需求分解为多个步骤，每层只处理简单的业务逻辑，比较方便，而且可以方便定位问题。 （2）增强数据的复用性：通过分层计算所得的数据，在处理其他的业务逻辑时，可以直接使用中间数据，不需要从头计算，提高工作效率。 （3）隔离原始数据：不论是数据的异常性或者是数据敏感性，将统计数据和原始数据解耦开。 2 数仓分几层 一般情况下数仓分为四层：ODS层、DWD层、DWS层、ADS层。当然对于大公司来说，由于业务逻
离线数仓 (二) --------- 项目需求及架构设计
在森林里麋了鹿
10-16 1188
数仓需求与架构设计
离线电商数仓知识笔记沉淀-流程及用户行为采集平台
最新发布
kkddd35的博客
03-07 936
数据仓库：将数据的统计结果为企业的经营决策提供数据支撑，不是数据流转的终点，需要将统计结果将可视化平台呈现给客户。：warehouse还有大商店之意，所以存数据不是数据仓库的本质目的，是为了把数据加工处理后对外提供服务。数据仓库：核心作用是统计分析数据，列式存储，存储海量数据（数据越多统计越准确）数据库：核心作用是查找业务数据，行式存储，索引（快速定位），不能存储海量数据。数仓项目：mysql、hdfs、spark、Flink、MR、hive。数仓项目：以数据计算为主、同时可以储存数据。
大数据开发之离线数仓项目（4-1电商数据仓库系统）（可面试使用）
key_honghao的博客
02-02 1231
事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数据类型字段）事务事实表用来记录各业务过程，它保存的是各业务过程的原子操作事件，即最细粒度的操作事件。粒度是指事实表中一行数据所表达的业务细节程度。周期快照事实表以其规律性的、可预见性的时间间隔来记录事实，主要用于分析一些存量型（例如商品库存，账户余额）或者状态型（空气温度，行驶速度）指标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值