Hive做一个PV，UV统计的案例记录

最新推荐文章于 2024-06-28 18:29:47 发布

madman1990

最新推荐文章于 2024-06-28 18:29:47 发布

阅读量6.7k

点赞数 2

分类专栏：大数据学习

本文链接：https://blog.csdn.net/u010316188/article/details/79769862

版权

这篇博客详细记录了使用Hive进行网站PV和UV统计的全过程，包括创建数据源表、数据清洗、动态分区表的建立以及最终将统计结果导出到MySQL的步骤。提供了一份源文件链接，并展示了关键的Hive SQL操作。

摘要由CSDN通过智能技术生成

hive学习记录

使用hive统计一个网站的pv，和uv，只有源文件，从导入文件到最后导出统计结果，统计一个网站某天某时的pv uv访问值。

步骤

在hive中新建数据源表。
导入源文件到hive表中。
对hive原表做一个数据清洗，筛选有用的字段,新建清洗表。
新建分区表，从数据清洗表中把输入导入到分区表。
对分区表的数据进行分组统计。
使用sqoop导出数据到mysql中。

源文件

链接：https://pan.baidu.com/s/1FwYSrehk0bg5VK8p61ttOQ 密码：ubvi

新建数据源表

//在hive上新建track_log库
create database track_log;
//新建数据源表
create table yhd_source(
id              string,
url             string,
referer         string,
keyword         string,
type            string,
guid            string,
pageId          string,
moduleId        string,
linkId          string,
attachedInfo    string,
sessionId       string,
trackerU        string,
trackerType     string,
ip              string,
trackerSrc      string,
cookie          string,
orderCode       string,
trackTime       string,
endUserId       string,
firstLink       string,
sessionViewNo   string,
productId       string,
curMerchantId   string,
provinceId      string,
cityId          string,
fee             string,
edmActivity     string,
edmEmail        string,
ed