数据仓库之【用户行为数仓】04：数据生成与采集：用户行为数据、商品订单相关数据

最新推荐文章于 2023-05-12 11:14:23 发布

做一个有趣的人Zz

最新推荐文章于 2023-05-12 11:14:23 发布

阅读量2.5k

点赞数 5

分类专栏： hadoop flume 文章标签：数据仓库

本文链接：https://blog.csdn.net/weixin_40612128/article/details/123360457

版权

hadoop 同时被 2 个专栏收录

57 篇文章 ¥399.90 ¥499.90

订阅专栏

flume

17 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了数据仓库中用户行为和商品订单数据的生成与采集流程。首先，通过代码模拟生成客户端用户行为数据和服务器商品订单数据。接着，部署日志采集服务并使用Flume进行数据采集，按act值存储数据。同时，利用Sqoop将关系型数据库的商品订单数据导入到HDFS。全量和增量采集策略根据数据表特性进行选择，手机号在采集时进行脱敏处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接下来我们就来开发第一个模块：数据采集模块
这一块内容在开发的时候，我们需要先生成测试数据，一份是服务端数据，还有一份是客户端数据

一、数据生成

1、【客户端数据】用户行为数据

首先我们模拟生成用户行为数据，也就是客户端数据，主要包含用户打开APP、点击、浏览等行为数据

用户行为数据：通过埋点上报，后端日志服务器(http)负责接收数据

埋点上报数据基本格式：

{
"uid"：1001,  //用户ID
"xaid"："ab25617-c38910-m2991",  //手机设备ID
"platform"：2,  //设备类型, 1:Android-APP, 2:IOS-APP, 3:PC 
"ver"："3.5.10",  //大版本号
"vercode"："35100083",  //子版本号
"net"：1,  //网络类型, 0:未知, 1:WIFI, 2:2G , 3:3G, 4:4G, 5:5G
"brand"："iPhone",  //手机品牌
"model"："iPhone8",  //机型
"display"

了解本专栏