![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
电商数仓2
用户行为数据仓库2
佑熙
这个作者很懒,什么都没留下…
展开
-
9(23)连续三天活跃用户数23
第14章 需求八:最近七天内连续三天活跃用户数说明:最近7天内连续3天活跃用户数14.1 DWS层使用日活明细表dws_uv_detail_day作为DWS层数据14.2 ADS层1)建表语句hive (gmall)>drop table if exists ads_continuity_uv_count;create external table ads_continuit...原创 2020-04-09 15:03:34 · 753 阅读 · 0 评论 -
9(22)最近连续3周活跃用户数22
第13章 需求七:最近连续3周活跃用户数最近3周连续活跃的用户:通常是周一对前3周的数据做统计,该数据一周计算一次。13.1 DWS层使用周活明细表dws_uv_detail_wk作为DWS层数据13.2 ADS层1)建表语句hive (gmall)>drop table if exists ads_continuity_wk_count;create external ta...原创 2020-04-09 15:02:52 · 595 阅读 · 0 评论 -
9(21)流失用户数21
第12章 需求六:流失用户数流失用户:最近7天未登录我们称之为流失用户12.1 DWS层使用日活明细表dws_uv_detail_day作为DWS层数据12.2 ADS层1)建表语句hive (gmall)>drop table if exists ads_wastage_count;create external table ads_wastage_count(dt st...原创 2020-04-09 15:02:07 · 218 阅读 · 0 评论 -
9(20)本周回流用户数20
第11章 需求五:本周回流用户数本周回流=本周活跃-本周新增-上周活跃11.1 DWS层使用日活明细表dws_uv_detail_day作为DWS层数据11.2 ADS层1)建表语句hive (gmall)>drop table if exists ads_back_count;create external table ads_back_count(dt string C...原创 2020-04-09 14:59:34 · 385 阅读 · 0 评论 -
9(19)沉默用户数19
第10章 需求四:沉默用户数沉默用户:指的是只在安装当天启动过,且启动时间是在一周前10.1 DWS层使用日活明细表dws_uv_detail_day作为DWS层数据10.2 ADS层1)建表语句hive (gmall)>drop table if exists ads_slient_count;create external table ads_slient_count(...原创 2020-04-09 14:58:46 · 398 阅读 · 0 评论 -
9(18)第9章 新数据准备18
第9章 新数据准备为了分析沉默用户、本周回流用户数、流失用户、最近连续3周活跃用户、最近七天内连续三天活跃用户数,需要准备2019-02-12、2019-02-20日的数据。1)2019-02-12数据准备(1)修改日志时间[atguigu@hadoop102 ~]$ dt.sh 2019-02-12(2)启动集群[atguigu@hadoop102 ~]$ cluster.sh st...原创 2020-04-09 14:55:04 · 68 阅读 · 0 评论 -
9(17)8.3 ADS层17
8.3 ADS层8.3.1 留存用户数1)建表语句hive (gmall)>drop table if exists ads_user_retention_day_count;create external table ads_user_retention_day_count(create_date string comment ‘设备新增日期’,retention_day ...原创 2020-04-09 14:54:23 · 136 阅读 · 0 评论 -
9(16)第8章 需求三:用户留存主题16
第8章 需求三:用户留存主题8.1.2 需求描述8.2 DWS层8.2.1 DWS层(每日留存用户明细表)1)建表语句hive (gmall)>drop table if exists dws_user_retention_day;create external table dws_user_retention_day(mid_id string COMMENT ‘设备唯一...原创 2020-04-09 14:51:47 · 91 阅读 · 0 评论 -
9(15)7.2 ADS层(每日新增设备表)15
7.2 ADS层(每日新增设备表)1)建表语句hive (gmall)>drop table if exists ads_user_retention_day_rate;create external table ads_new_mid_count(create_date string comment ‘创建时间’ ,new_mid_count BIGINT com...原创 2020-04-09 14:51:04 · 202 阅读 · 0 评论 -
9(14)7.1 DWS层(每日新增设备明细表)14
第7章 需求二:用户新增主题7.1 DWS层(每日新增设备明细表)1)建表语句hive (gmall)>drop table if exists dws_new_mid_day;create external table dws_new_mid_day(mid_id string COMMENT ‘设备唯一标识’,user_id string COMMENT ‘用户标识’,...原创 2020-04-09 14:49:01 · 348 阅读 · 1 评论 -
9(13)6.2.2 ADS层加载数据脚本13
6.2.2 ADS层加载数据脚本1)在hadoop102的/home/atguigu/bin目录下创建脚本[atguigu@hadoop102 bin]$ vim ads_uv_log.sh在脚本中编写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的...原创 2020-04-09 14:47:04 · 120 阅读 · 0 评论 -
9(12)6.2 ADS层12
6.2 ADS层目标:当日、当周、当月活跃设备数6.2.1 活跃设备数drop table if exists ads_uv_count;create external table ads_uv_count(dt string COMMENT ‘统计日期’,day_count bigint COMMENT ‘当日用户数量’,wk_count bigint COMMENT ‘当周用户...原创 2020-04-09 14:46:21 · 106 阅读 · 0 评论 -
9(11)6.1.4 DWS层加载数据脚本11
1)在hadoop102的/home/atguigu/bin目录下创建脚本[atguigu@hadoop102 bin]$ vim dws_uv_log.sh在脚本中编写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天if [ -n “$1” ...原创 2020-04-09 14:43:06 · 138 阅读 · 0 评论 -
9(10)6.1 DWS层10
6.1 DWS层目标:统计当日、当周、当月活动的每个设备明细6.1.1 每日活跃设备明细1)建表语句hive (gmall)>drop table if exists dws_uv_detail_day;create external table dws_uv_detail_day(mid_id string COMMENT ‘设备唯一标识’,user_id string ...原创 2020-04-09 14:42:14 · 151 阅读 · 0 评论 -
(9)4.3.12 DWD层事件表加载数据脚本9
4.3.12 DWD层事件表加载数据脚本1)在hadoop102的/home/atguigu/bin目录下创建脚本[atguigu@hadoop102 bin]$ vim dwd_event_log.sh在脚本中编写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日...原创 2020-04-09 14:39:34 · 167 阅读 · 0 评论 -
(8)4.3 DWD层事件表获取8
4.3.1 商品点击表1)建表语句hive (gmall)>drop table if exists dwd_display_log;CREATE EXTERNAL TABLE dwd_display_log(mid_id string,user_id string,version_code string,version_name string,lang string,s...原创 2020-04-09 14:36:42 · 111 阅读 · 0 评论 -
(7)数仓搭建之DWD层事件表7
[hadoop@hadoop102 /opt/soft1]$ll /opt/module/hive/ |grep hivefunction-1.0-SNAPSHOT.jar-rw-r–r--. 1 hadoop hadoop 5528 Feb 10 02:19 hivefunction-1.0-SNAPSHOT.jarhive (gmall)> add jar /opt/module/h...原创 2020-04-09 14:33:55 · 536 阅读 · 0 评论 -
(6)数仓搭建之DWD层启动表6
数仓搭建之DWD层4.1 DWD层启动表数据解析4.1.1 创建启动表1)建表语句hive (gmall)>drop table if exists dwd_start_log;CREATE EXTERNAL TABLE dwd_start_log(mid_id string,user_id string,version_code string,version_name ...原创 2020-04-09 14:31:09 · 286 阅读 · 0 评论 -
(5)数仓搭建之ODS层5
3.1 创建数据库1)创建gmall数据库hive (default)> create database gmall;说明:如果数据库存在且有数据,需要强制删除时执行:drop database gmall cascade;2)使用gmall数据库hive (default)> use gmall;3.2 ODS层原始数据层,存放原始数据,直接加载原始日志、数据,数据保持...原创 2020-04-09 14:28:10 · 393 阅读 · 0 评论 -
(4.1)数仓搭建之ODS层报错报错4.1
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don’t support retries at the client level.)(1)create ...原创 2020-04-09 14:25:58 · 478 阅读 · 0 评论 -
(4)数仓搭建之ODS层4
create database hive default character set latin1;grant all on . to ‘hive’@’%’ identified by ‘000000’;flush privileges;3.1 创建数据库1)创建gmall数据库hive (default)> create database gmall;说明:如果数据库存在且有数...原创 2020-04-09 14:23:09 · 168 阅读 · 0 评论 -
(3)Tez3
2.2.1 安装包准备1)下载tez的依赖包:http://tez.apache.org2)拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/module目录[atguigu@hadoop102 module]$ lsapache-tez-0.9.1-bin.tar.gz3)解压缩apache-tez-0.9.1-bin.tar.gz[atgui...原创 2020-04-09 14:20:25 · 137 阅读 · 0 评论