大数据数据仓库实战项目-电商数仓教程V3.0---快速建表

最新推荐文章于 2024-04-27 10:51:15 发布
最新推荐文章于 2024-04-27 10:51:15 发布
阅读量746 收藏 4
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop hdfs hive 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44852767/article/details/108667709
版权

建表


数据加载脚本见 https://blog.csdn.net/qq_44852767/article/details/108666556

ods层

用户行为数据

-- 日志表
drop table if exists ods_log;
CREATE EXTERNAL TABLE ods_log (`line` string)
PARTITIONED BY (`dt` string) -- 按照时间创建分区
STORED AS -- 指定存储方式，读数据采用 LzoTextInputFormat； INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/warehouse/gmall/ods/ods_log'	-- 指定数据在 hdfs 上的存储位置
;

业务数据

一次性创建23张表

-- 1 订单表（增量及更新）
drop table if exists ods_order_info;
create external table ods_order_info ( 
    `id` string COMMENT '订单号', 
    `final_total_amount` decimal(10,2) COMMENT '订单金额', 
    `order_status` string COMMENT '订单状态', 
    `user_id` string COMMENT '用户 id', 
    `out_trade_no` string COMMENT '支付流水号', 
    `create_time` string COMMENT '创建时间', 
    `operate_time` string COMMENT '操作时间', 
    `province_id` string COMMENT '省份 ID', 
    `benefit_reduce_amount` decimal(10,2) COMMENT '优惠金额', 
    `original_total_amount` decimal(10,2) COMMENT '原价金额', 
    `feight_fee` decimal(10,2) COMMENT '运费' 
) COMMENT '订单表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_order_info/';
 

-- 2 订单详情表（增量）

 
drop table if exists ods_order_detail; 
create external table ods_order_detail( 
    `id` string COMMENT '订单编号', 
    `order_id` string COMMENT '订单号', 
    `user_id` string COMMENT '用户 id', 
    `sku_id` string COMMENT '商品 id', 
    `sku_name` string COMMENT '商品名称', 
    `order_price` decimal(10,2) COMMENT '商品价格', 
    `sku_num` bigint COMMENT '商品数量', `create_time` string COMMENT '创建时间' 
) COMMENT '订单详情表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_order_detail/';
 

-- 3 SKU 商品表（全量）

 
drop table if exists ods_sku_info; 
create external table ods_sku_info( 
    `id` string COMMENT 'skuId', 
    `spu_id` string COMMENT 'spuid', 
    `price` decimal(10,2) COMMENT '价格', 
    `sku_name` string COMMENT '商品名称', 
    `sku_desc` string COMMENT '商品描述', 
    `weight` string COMMENT '重量', 
    `tm_id` string COMMENT '品牌 id', 
    `category3_id` string COMMENT '品类 id', 
    `create_time` string COMMENT '创建时间' 
) COMMENT 'SKU 商品表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/warehouse/gmall/ods/ods_sku_info/';
 

-- 4  用户表（增量及更新）

 
drop table if exists ods_user_info; 
create external table ods_user_info( 
    `id` string COMMENT '用户 id', 
    `name` string COMMENT '姓名', 
    `birthday` string COMMENT '生日', 
    `gender` string COMMENT '性别', 
    `email` string COMMENT '邮箱', 
    `user_level` string COMMENT '用户等级', 
    `create_time` string COMMENT '创建时间', 
    `operate_time` string COMMENT '操作时间' 
) COMMENT '用户表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_user_info/';
 

-- 5 商品一级分类表（全量）

 
drop table if exists ods_base_category1; 
create external table ods_base_category1( 
    `id` string COMMENT 'id', 
    `name` string COMMENT '名称' 
) COMMENT '商品一级分类表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_category1/';
 

-- 6 商品二级分类表（全量）

 
drop table if exists ods_base_category2; 
create external table ods_base_category2( 
    `id` string COMMENT ' id', 
    `name` string COMMENT '名称', 
    category1_id string COMMENT '一级品类 id' 
) COMMENT '商品二级分类表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_category2/';
 



-- 7 商品三级分类表（全量）

 
drop table if exists ods_base_category3; 
create external table ods_base_category3( 
    `id` string COMMENT ' id', 
    `name` string COMMENT '名称', 
    category2_id string COMMENT '二级品类 id'
    ) COMMENT '商品三级分类表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_category3/';
 

-- 8 支付流水表（增量）

 
drop table if exists ods_payment_info; 
create external table ods_payment_info( 
    `id` bigint COMMENT '编号', 
    `out_trade_no` string COMMENT '对外业务编号', 
    `order_id` string COMMENT '订单编号', 
    `user_id` string COMMENT '用户编号', 
    `alipay_trade_no` string COMMENT '支付宝交易流水编号', 
    `total_amount` decimal(16,2) COMMENT '支付金额', 
    `subject` string COMMENT '交易内容', 
    `payment_type` string COMMENT '支付类型', 
    `payment_time` string COMMENT '支付时间' 
) COMMENT '支付流水表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_payment_info/';
 

-- 9 省份表（特殊）

 
drop table if exists ods_base_province; 
create external table ods_base_province ( 
    `id` bigint COMMENT '编号', 
    `name` string COMMENT '省份名称', 
    `region_id` string COMMENT '地区 ID', 
    `area_code` string COMMENT '地区编码', 
    `iso_code` string COMMENT 'iso 编码' 
    ) COMMENT '省份表' 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_province/';
 

-- 10 地区表（特殊）

drop table if exists ods_base_region; 
create external table ods_base_region ( 
    `id` bigint COMMENT '编号', 
    `region_name` string COMMENT '地区名称' 
    ) COMMENT '地区表' 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_region/';
 

-- 11 品牌表（全量）

drop table if exists ods_base_trademark; 
create external table ods_base_trademark ( 
    `tm_id` bigint COMMENT '编号', 
    `tm_name` string COMMENT '品牌名称' 
    ) COMMENT '品牌表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_base_trademark/';
 

-- 12 订单状态表（增量）
 
drop table if exists ods_order_status_log; 
create external table ods_order_status_log ( 
    `id` bigint COMMENT '编号', 
    `order_id` string COMMENT '订单 ID', 
    `order_status` string COMMENT '订单状态', 
    `operate_time` string COMMENT '修改时间' 
    ) COMMENT '订单状态表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_order_status_log/';
 


-- 13 SPU 商品表（全量）
 
drop table if exists ods_spu_info; 
create external table ods_spu_info( 
    `id` string COMMENT 'spuid', 
    `spu_name` string COMMENT 'spu 名称', 
    `category3_id` string COMMENT '品类 id', 
    `tm_id` string COMMENT '品牌 id' 
    ) COMMENT 'SPU 商品表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_spu_info/';
 

-- 14 商品评论表（增量）

drop table if exists ods_comment_info; 
create external table ods_comment_info( 
    `id` string COMMENT '编号', 
    `user_id` string COMMENT '用户 ID', 
    `sku_id` string COMMENT '商品 sku', 
    `spu_id` string COMMENT '商品 spu', 
    `order_id` string COMMENT '订单 ID', 
    `appraise` string COMMENT '评价', 
    `create_time` string COMMENT '评价时间'
    ) COMMENT '商品评论表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_comment_info/';
 

-- 15 退单表（增量）

drop table if exists ods_order_refund_info; 
create external table ods_order_refund_info( 
    `id` string COMMENT '编号', 
    `user_id` string COMMENT '用户 ID', 
    `order_id` string COMMENT '订单 ID', 
    `sku_id` string COMMENT '商品 ID', 
    `refund_type` string COMMENT '退款类型', 
    `refund_num` bigint COMMENT '退款件数', 
    `refund_amount` decimal(16,2) COMMENT '退款金额', 
    `refund_reason_type` string COMMENT '退款原因类型', 
    `create_time` string COMMENT '退款时间' ) COMMENT '退单表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_order_refund_info/';
 

-- 16 加购表（全量）

drop table if exists ods_cart_info; 
create external table ods_cart_info( 
    `id` string COMMENT '编号', 
    `user_id` string COMMENT '用户 id', 
    `sku_id` string COMMENT 'skuid', 
    `cart_price` string COMMENT '放入购物车时价格', 
    `sku_num` string COMMENT '数量', 
    `sku_name` string COMMENT 'sku 名称 (冗余)', 
    `create_time` string COMMENT '创建时间', 
    `operate_time` string COMMENT '修改时间', 
    `is_ordered` string COMMENT '是否已经下单', 
    `order_time` string COMMENT '下单时间' 
    ) COMMENT '加购表' 
PARTITIONED BY (`dt` string) 
row format delimited fields terminated by '\t' 
STORED AS 
    INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
location '/warehouse/gmall/ods/ods_cart_info/';



-- 17 商品收藏表（全量）

drop table if exists ods_favor_info; 
create external table ods_favor_info( 
    `id` string COMMENT '编号', 
    `user_id` string COMMENT '用户 id', 
    `sku_id` string COMMENT 'skuid',
    `spu_id` string COMMENT '
最低0.47元/天 解锁文章
溪云初起，山雨欲来
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《大数据分析-数据仓库项目实战》--阅读笔记
uzong
11-20 1658
大数据时代，需要考虑数据的采集、存储、计算处理等方式。数据仓库建模方式：确定业务过程、声明粒度、确定维度、确定事实采集：Flume、kafka、Sqoop存储：MySQL、Hadoop、HBase计算：Hive、Tez查询：Presto、Druid、Kylin可视化：Superset任务单调动：Azkaban元数据管理：Atlas脚本：Shell粗略的对整个大数据的部分技术做了一个简单的了解。
大数据电商数仓实战v5.0 (尚硅谷)
Kevinwen0228的博客
07-24 2477
hadoop实战
大数据—数仓分层概论
最新发布
麦当当的博客
04-27 1478
数据仓库的发展背景源于企业对大规模数据集成、数据分析和决策支持的需求，以及数据分析技术的不断发展和成熟，标志着企业逐渐转向数据驱动的企业文化。数据仓库作为一个面向主题的、集成的、非易失的数据集合，为企业提供了一个统一的数据视图和分析环境，促进了数据资产的价值最大化。
大数据Flink电商数仓实战项目流程全解（一）
日句灬的博客
07-21 6342
项目整体思路和架构 本项目主要参考尚硅谷的Flink实时数仓项目完成，最近又重新跑了一遍，项目整体我会在后续上传到码云中， 也会同步更新到博客中来，里面不仅包含了整体代码和整个集群搭建过程，也包含了一些我自己的理解和测试过程 希望大家能喜欢，以后我也会把我整个的大数据学习过程和笔记做一个分享。非常欢迎一起学习大数据的朋友， 大家可以一起交流和学习。 实时数仓分层思想 这里采用的架构和离线数仓架构不同，整个项目共分为6个层来做，但注意：这些层级之间并不是纯粹的 上下关联关系：也不是一定非要有这6个层级；
大数据、数据分析、数据仓库、数据中台资料合集.zip
06-03
集合了125份一线互联网大厂大数据、数据分析、数据仓库、数据中台方案与落地实践， 小米用户画像实战 腾讯 clickhouse实践 贝壳OLAP平台架构演进之路 快手大数据存储管理的落地实践 数据中台行业解决方案及案例 快手从模型规范开始的数据治理实践 网易大数据用户画像实践 阿里巴巴-大数据实践等等
大数据项目之电商数仓-代码
08-31
在本大数据项目中，我们关注的是电商数仓的构建，这是一个关键领域，它涉及大量数据的存储、管理和分析，以支持企业的决策制定和业务优化。数据仓库是将来自多个源的交易数据整合到一个中央存储库的过程，为商业智能...
大数据项目之电商数仓（4即席查询数据仓库）.docx
11-18
大数据项目之电商数仓（4即席查询数据仓库） 本文档是关于大数据项目之电商数仓的详细介绍，特别是关于Presto即席查询数据仓库的设计和实现。下面是从标题、描述、标签和部分内容中提炼出的知识点： Presto 概念 ...
大数据项目之电商数仓（2业务数据采集平台）V4.1.docx
10-25
大数据项目之电商数仓（业务数据采集平台）V4.1 本资源主要介绍了电商数仓的业务数据采集平台，涵盖了电商业务流程、电商常识、电商系统表结构等方面的知识点。 电商业务流程 电商业务流程可以分为以下几个阶段：...
企业级电商离线数仓项目-2022
07-22
企业级电商离线数仓项目-2022 根据提供的文件信息，我们可以将其总结为以下几个方面的知识点： 1. 数据仓库的概念和历史发展 数据仓库的概念首次被提出是在1988年，由IBM公司提出。1991年，Bill Inmon出版了他的...
大数据真实数仓项目完整版.zip
06-21
最新大数据真实数仓项目完整版，有设计文档，数据建模以及相关脚本，绝对真实，线上项目
大数据项目之电商数仓（2用户行为数据仓库）.docx
08-03
此数仓项目文档详细介绍从项目需求分析到数据生成模块、数据采集模块、数仓各分层搭建再到业务实现的过程，其中各种环境的配置很细致，很有价值学习一下。
2021年企业级大数据项目之数据仓库（专业完整版）.pdf
10-19
2021年企业级大数据项目之数据仓库（专业完整版）.pdf
大数据数据仓库实战项目-电商数仓教程V3.0---脚本集合
qq_44852767的博客
09-18 1739
-电商数仓脚本HadoopZookeeper日志生成Flume采集KafkaFlume消费采集通道业务数据到HDFS 视频：https://www.bilibili.com/video/BV1dD4y1d7wL? Hadoop hdp.sh #!/bin/bash case $1 in "start" ) /opt/module/hadoop-3.1.3/sbin/start-dfs.sh ssh hadoop103 /opt/module/hadoop-3.1.
视频教程-全新大数据企业电商数据仓库项目实战教程-大数据
weixin_33203854的博客
05-28 493
全新大数据企业电商数据仓库项目实战教程 张长志技术全才、擅长领域：区块链、大...
大数据在项目中的实际应用：数据仓库，数据埋点 | 实战
baishuyk的博客
02-11 756
相信大家之前也学习了很多关于大数据的基本知识和专项知识，今天来给大家介绍一下这些大数据知识是如何应用在一个真正的电商项目中的。 数据仓库概念 项目需求及架构设计 项目需求分析 项目框架：技术选型 项目框架：系统数据流程设计 项目框架：框架版本选型 项目框架：服务器选型 项目框架：集...
大数据学习系列：Hadoop3.0苦命学习（五）
sky的博客
05-23 3742
传送门： 大数据学习系列：Hadoop3.0苦命学习（一） 大数据学习系列：Hadoop3.0苦命学习（二） 大数据学习系列：Hadoop3.0苦命学习（三） 大数据学习系列：Hadoop3.0苦命学习（四） 目录1 什么是数仓1.1 基本概念1.2 主要特征1.2.1 面向主题1.2.2 集成性1.2.3 非易失性（不可更新性）1.2.4 时变性1.3 数据库与数据仓库的区别1.4 数仓的分层架构1.5 数仓的元数据管理2 Hive 的基本概念2.1 Hive 简介2.2 Hive 架构2.3 Hive
大数据学习-离线数仓项目实战笔记（上）
weixin_43320999的博客
12-23 2376
1. 前置 1.1. 软件版本 产品 版本 Hadoop 2.9.2 Hive 2.3.7 Flume 1.9 DataX 3.0 Airflow 1.10 Atlas 1.2.0 Griffin 0.4.0 Impala impala-2.3.0-cdh5.5.0 MySQL 5.7 1.2. 软件安装分布情况 服务器 linux121 linux122 linux123 Hadoop √ namenode √ √ seconderyna
电商数仓实践：用户行为数据仓库搭建与环境配置
"尚硅谷大数据项目之电商数仓（2用户行为数据仓库）是一个详细讲解如何从需求分析到实现电商领域大数据项目的文档。项目涵盖了数仓分层理论、环境配置、数据采集等多个关键环节，适合学习和参考。文档中特别提到了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值