Hive学习六:HIVE日志分析（用户画像）

最新推荐文章于 2022-11-28 19:38:51 发布

forrestxingyunfei

最新推荐文章于 2022-11-28 19:38:51 发布

阅读量5.2k

点赞数

分类专栏： Hive 文章标签： hive

本文链接：https://blog.csdn.net/youfashion/article/details/51188195

版权

本文介绍了一种通过Hive进行日志分析以构建用户画像的方法。首先，从原始数据表中提取会话信息到临时中间表，然后通过关联多个临时表获取所需用户信息，以提高查询性能和降低复杂度。内容包括创建临时表session_info、tmp_session_info和tmp_track_url，以及数据加载和查询操作，最后总结了利用中间结果集的好处和复习的相关Hive技术。

摘要由CSDN通过智能技术生成

Hive学习六:HIVE日志分析（用户画像）

标签（空格分隔）： Hive

Hive学习六HIVE日志分析用户画像
案例分析思路

案例分析思路

根据原始数据表里面的信息提取用户画像信息，一方面实现难度较大，另一方面由于数据量较大，从而导致实现的性能较差。由于以上2点，所以考虑从原始表中提取用户的会话信息放到临时中间表中，最终通过关联多个临时中间表获取需要的用户信息，可以大大提高查询的性能和降低提取的难度。
原始表结构：

drop table if exists db_track.track_log ;
create table db_track.track_log(
id                string,
url               string,
referer           string,
keyword           string,
type              string,
guid              string,
pageId            string,
moduleId          string,
linkId            string,
attachedInfo      string,
sessionId         string,
trackerU          string,
trackerType       string,
ip                string,
trackerSrc        string,
cookie            string,
orderCode         string,
trackTime         string,
endUserId         string,
firstLink         string,
sessionViewNo     string,
productId         string,
curMerchantId     string,
provinceId        string,
cityId            string,
fee               string,
edmActivity       string,
edmEmail          string,
edmJobId          string,
ieVersion         string,
platform          string,
internalKeyword   string,
resultSum         string,
currentPage       string,
linkPosition      string,
buttonPosition