电商数仓3
系统业务数据仓库3
佑熙
这个作者很懒,什么都没留下…
展开
-
9(19)9.5 拉链表制作过程
9.5 拉链表制作过程9.5.1 步骤0:初始化拉链表(首次独立执行)1)生成10条原始订单数据CALL init_data(‘2019-02-13’,10,5,10,TRUE);[atguigu@hadoop102 bin]$ sqoop_import.sh all 2019-02-13[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-13[atg...原创 2020-04-09 15:51:09 · 412 阅读 · 0 评论 -
9(16)GMV指标获取的全调度流程16
8.2GMV指标获取的全调度流程1)生成数据CALL init_data(‘2019-02-12’,300,200,300,FALSE);2)编写Azkaban程序运行job(1)import.job文件type=commanddo_date=${dt}command=/home/hadoop/bin/sqoop_import.sh all dodate(2)ods.job文件typ...原创 2020-04-09 15:39:39 · 225 阅读 · 0 评论 -
9(14)7.3Sqoop导出脚本14
7.3Sqoop导出脚本1)编写Sqoop导出脚本在/home/atguigu/bin目录下创建脚本sqoop_export.sh[atguigu@hadoop102 bin]$ vim sqoop_export.sh在脚本中填写如下内容#!/bin/bashdb_name=gmallexport_data() {/opt/module/sqoop/bin/sqoop export...原创 2020-04-09 15:38:18 · 141 阅读 · 0 评论 -
9(13)数据可视化13
第7章数据可视化7.1在MySQL中创建表7.1.1每日活跃统计1)在MySQL中创建ads_uv_count表DROP TABLE IF EXISTS ads_uv_count;CREATE TABLE ads_uv_count (dt varchar(255) DEFAULT NULL COMMENT ‘统计日期’,day_count bigint(200) DEFAULT N...原创 2020-04-09 15:35:47 · 158 阅读 · 0 评论 -
9(11)第6章需求三:品牌复购率11
第6章需求三:品牌复购率6.2 DWS层6.2.1 用户购买商品明细表(宽表)hive (gmall)>drop table if exists dws_sale_detail_daycount;create external table dws_sale_detail_daycount( user_id string comment ‘用户 id’,sku_id string...原创 2020-04-09 15:34:15 · 400 阅读 · 0 评论 -
9(10)第5章需求二:转化率及漏斗分析10
第5章需求二:转化率及漏斗分析5.2ADS层之新增用户占日活跃用户比率5.2.1 建表语句hive (gmall)>drop table if exists ads_user_convert_day;create external table ads_user_convert_day(dt string COMMENT ‘统计日期’,uv_m_count bigint COM...原创 2020-04-09 15:31:51 · 282 阅读 · 0 评论 -
(9)第4章需求一:GMV成交总额 4.1 ADS层9
第4章需求一:GMV成交总额4.1 ADS层4.1.2建表语句hive (gmall)>drop table if exists ads_gmv_sum_day;create external table ads_gmv_sum_day(dt string COMMENT ‘统计日期’,gmv_count bigint COMMENT ‘当日gmv订单个数’,gmv_amou...原创 2020-04-09 15:30:40 · 213 阅读 · 0 评论 -
(8)用户行为数据宽表导入脚本8
3.5.3用户行为数据宽表导入脚本1)在/home/atguigu/bin目录下创建脚本dws_db_wide.sh[atguigu@hadoop102 bin]$ vim dws_db_wide.sh在脚本中填写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期...原创 2020-04-09 15:13:20 · 209 阅读 · 0 评论 -
(7)3.5DWS层之用户行为宽表7
3.5DWS层之用户行为宽表3.5.1 创建用户行为宽表hive (gmall)>drop table if exists dws_user_action;create external table dws_user_action(user_id string comment ‘用户 id’,order_count bigint co...原创 2020-04-09 15:11:18 · 927 阅读 · 0 评论 -
(6)3.4.6DWD层数据导入脚本6
3.4.6DWD层数据导入脚本1)在/home/atguigu/bin目录下创建脚本dwd_db.sh[atguigu@hadoop102 bin]$ vim dwd_db.sh在脚本中填写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天if...原创 2020-04-09 15:10:29 · 276 阅读 · 0 评论 -
(5)3.4DWD层5
3.4DWD层对ODS层数据进行判空过滤。对商品分类表进行维度退化(降维)。3.4.1 创建订单表hive (gmall)>drop table if exists dwd_order_info;create external table dwd_order_info (id string COMMENT ‘’,total_amount decimal(10,2) COMMEN...原创 2020-04-09 15:09:50 · 364 阅读 · 0 评论 -
(4)3.3.9ODS层数据导入脚本4
3.3.9ODS层数据导入脚本1)在/home/atguigu/bin目录下创建脚本ods_db.sh[atguigu@hadoop102 bin]$ vim ods_db.sh在脚本中填写如下内容#!/bin/bashAPP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天if [ -n “$1...原创 2020-04-09 15:09:06 · 236 阅读 · 0 评论 -
(2.1)sqoop安装2.1
全量导入例如:bin/sqoop import \ (输入命令)–connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \ (指定连接jdbc端口和数据库名称)–username root \ (数据库用户名)–password root123 \ (密码 若不适用明文指定数据库密码 则可以用-P)–table user \ (指定数...原创 2020-04-09 15:07:18 · 72 阅读 · 0 评论 -
(2)Sqoop安装2.0
第3章 Sqoop安装3.1 下载并解压下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中解压sqoop安装包到指定目录,如:$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.g...原创 2020-04-09 15:06:33 · 445 阅读 · 0 评论