《大型综合项目-基于大数据平台的数据仓库》学习笔记之（02）：数据介绍篇

最新推荐文章于 2024-05-04 07:06:47 发布

江湖人称涛哥

最新推荐文章于 2024-05-04 07:06:47 发布

阅读量6k

点赞数

分类专栏：大数据综合实战项目文章标签：数据仓库大数据项目实战 hive项目实战 spark项目实战数据仓库项目

本文链接：https://blog.csdn.net/coderblack/article/details/104197412

版权

大数据综合实战项目专栏收录该内容

33 篇文章 26 订阅

订阅专栏

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》，在CSDN学院有相关视频教程购买链接，大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程，课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER

本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块，力求原汁原味重现一个完备的企业级大型数据运营系统。

跟随项目课程，历经接近100+小时的时间，从需求分析开始，到数据埋点采集，到预处理程序代码编写，到数仓体系搭建…逐渐展开整个项目的宏大视图，构建起整个项目的摩天大厦。

多易教育，专注大数据培训；课程引领市场，就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn

一、App/Web埋点日志

分为前端（html页面/H5页面/app/微信小程序）埋点和后端埋点
埋点就是植入一些用于搜集用户行为信息的代码！

通过在app上用sdk埋点，或者在网页上用js埋点，监听用户的操作，生成相应的事件描述发送到日志服务器；

网页上嵌入jd-sdk的代码示例：
<a href="#" onclick="_czc.push(['_trackEvent', '小说', '打分', '达芬奇密码','5','dafen']);">打分</a>

1、整体架构

其中主要包含如下信息：

时间信息
地域信息
用户属性
终端设备属性
事件信息

其中主体结构为一个json字串，样例如下：
在这里插入图片描述

2、事件类型说明

关于事件类型和event字段举例说明如下：
更详细内容请参见：《易头条-事件设计模板》

编号	事件名称	说明
1	startup	启动事件
2	favor	收藏事件
3	rate	评分事件
4	add_cart	添加item到购物车事件
5	thumbup	点赞事件
6	ad_click	点击广告事件
7	ad_show	广告展示曝光事件
8	search	站内搜索事件
9	pg_view	页面浏览事件
10	rec_click	推荐项点击事件 “推荐栏目id，商品id，事件所发生的页面”
11	sub_order	提交订单事件

在这里插入图片描述
事件字段举例说明：

pg_view事件
"event":{  
"pgid":"30-03-258413"  // 所浏览的页面的id
          "url":"/abc/edh/30-03-258413.html?a=x&b=y",
          "title":"Xiaomi/小米 小米8SE 前置2000万柔光自拍 超感光双摄",
          "skuid":"3985910262736",  // 商品id
          "trace_id":"uuid092304ksdl0wei",  // 广告跟踪码
   }

ad_show 事件
"event":{  
"adid":"10-03-01"  // ad_id
        "url":"/abc/edh/a.html?a=x&b=y",
        "skuid":"3985910262736",  // 商品id
   }

ad_click 事件
"event":{  
"adid":"10-03-01"  // ad_id
        "url":"/abc/edh/a.html?a=x&b=y",
        "trace_id":"uuid092304ksdl0wei",  // 广告跟踪码
        "skuid":"3985910262736",  // 商品id
   }

注意：不同事件日志的event字段，属性的个数和含义均有不同！
详情请参考实际日志数据文件！

3、字段类型说明

longtitude：为Double
latitude：为Double
其他字段原始类型皆为String

4、UTM广告跟踪特别说明

UTM是在站外（如google广告联盟）投放广告后，用于统计分析广告效果的一种技术手段。它通过在广告的目标地址后面添加一系列“广告属性标识”来对广告流量进行识别；

二、业务数据

在这里插入图片描述

多易教育，专注大数据培训；课程引领市场，就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》，在CSDN学院有相关视频教程购买链接，大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程，课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER