项目
项目学习记录
默默走开
待我荣耀归来,我娶你可好?
展开
-
【项目】数仓项目(十)
(图片来源于网络,侵删)一、数仓搭建 - DWS 层结束语都看到这里了,点赞评论一下吧!!!点击查看????敬请期待!原创 2020-05-07 11:57:19 · 2319 阅读 · 4 评论 -
【项目】数仓项目(九)
(图片来源于网络,侵删)一、数仓搭建 - DWS 层1.1 业务术语1)用户用户以设备为判断标准,在移动统计中,每个独立设备认为是一个独立用户。Android系统根据 IMEI 号,IOS 系统根据 OpenUDID 来标识一个独立用户,每部手机一个用户2)新增用户首次联网使用应用的用户。如果一个用户首次打开某 APP,那这个用户定义为新增用户;卸载再安装的设备,不会被算作一次...原创 2020-05-06 22:07:04 · 2100 阅读 · 2 评论 -
【项目】数仓项目(八)
(图片来源于网络,侵删)1.4 DWD 层(业务数据)4.4.1 商品维度表(全量表)结束语都看到这里了,点赞评论一下吧!!!点击查看????敬请期待!...原创 2020-05-05 22:32:52 · 3237 阅读 · 11 评论 -
【项目】数仓项目(七)
(图片来源于网络,侵删)结束语都看到这里了,点赞评论一下吧!!!点击查看????敬请期待!原创 2020-05-03 17:13:41 · 3134 阅读 · 3 评论 -
【项目】数仓项目(六)
(图片来源于网络,侵删)一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为xxx_tmp用户行为表,以log为后缀1.3.2 脚本命名数据源_to...原创 2020-05-02 22:53:36 · 5742 阅读 · 2 评论 -
【项目】数仓项目(五)
(图片来源于网络,侵删)一、电商业务简介1.1 电商业务流程1.2 电商常识(SKU、SPU)SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的 SKU 号SPU(Standard Product Unit):是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合例如:iPhoneX 手机就是 SPU...原创 2020-04-30 21:57:11 · 4126 阅读 · 5 评论 -
【项目】数仓项目(四)
(图片来源于网络,侵删)都看到这里了,点赞评论一下吧!!!点击查看????敬请期待!原创 2020-04-30 12:04:15 · 3744 阅读 · 5 评论 -
【项目】数仓项目(三)
(图片来源于网络,侵删)一、数据采集模块【1】Linux环境搭建Linux配置请看这篇博客????Linux基本配置【2】Hadoop环境搭建1)基础环境创建[node01]cd ~mkdir bincd binvim xsync=======================脚本如下========================#!/bin/bash#1 获取输入参数...原创 2020-04-28 23:06:32 · 3957 阅读 · 4 评论 -
【项目】数仓项目(二)
(图片来源于网络,侵删)一、数据生成模块1)埋点数据基本格式公共字段:基本所有安卓手机都包含的字段业务(事件)字段:埋点上报的字段,有具体的业务类型示例如下????2)示例日志(服务器时间戳 | 日志)如下????注意:事件字段包含多个用户行为数据3)事件日志数据【3.1】商品列表页(loading)事件名称:loading标签含义action动作:开始加...原创 2020-04-28 11:59:31 · 4497 阅读 · 4 评论 -
【项目】数仓项目(一)
(图片来源于网络,侵删)一、数据仓库数据仓库(Data Warehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本、提高产品质量等数据仓库,并不是数据的最终目 的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:清洗,转义,分类,重组,合并,拆分,统计等等二、项目需求1、用户行为数...原创 2020-04-27 21:56:53 · 9055 阅读 · 5 评论 -
【项目】数据仓库概述
【1】 数据仓库的基本概念数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因【2】 ...原创 2020-04-04 21:04:41 · 7098 阅读 · 0 评论 -
【项目】删库跑路前,教你如何删除干净大数据生态圈软件
【1】Hadoop首当其冲的就是删除我们的Hadoop了第一步:当然就是先停止服务啦!stop-dfs.shstop-yarn.shyarn-daemon.sh stop resourcemanager第二步:删除hadoop目录以及hadoop元数据(我的元数据都保存在hadoop目录中,所以直接删除hadoop目录即可!)rm -rf /opt/modules/hadoop...原创 2020-04-05 14:35:56 · 5213 阅读 · 0 评论