静静网站流量分析项目之离线处理_数据清洗_4

最新推荐文章于 2024-04-16 15:46:32 发布

静静七分醉

最新推荐文章于 2024-04-16 15:46:32 发布

阅读量450

点赞数

分类专栏：静静网站流量分析项目文章标签：离线清洗 hive 外部表分区表清洗表

本文链接：https://blog.csdn.net/m0_37657725/article/details/92760650

版权

静静网站流量分析项目专栏收录该内容

11 篇文章 7 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何使用Hive进行离线数据清洗，重点是处理HDFS上的网站流量数据。清洗目标是保留特定字段，如url、urlname等，并通过创建外部表和分区表来管理数据。清洗流程包括创建库、定义外部表、数据导入与清洗，最终在Hive中以表格形式展示清洗后的数据。

摘要由CSDN通过智能技术生成

在这一片我们将介绍如何将HDFS上的数据进行清洗得到自己想要的数据。在HDFS上我们得到的如下的信息

"http://localhost/FluxAppServer/a.jsp|a.jsp|A页面|UTF-8|341x256|24-bit|zh-cn|0|1||0.5514263453546305|http://localhost/FluxAppServer/b.jsp|Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0|57039716907014431020|0298644254_32_1560325951992|127.0.0.1";

1.清洗目标

可以看到在HDFS上存储的数据有许多不是我们需要的字段，那么我们只要保留需要的字段即可
在会话字段有三块包含：会话编号，会话页面数，会话时间；在一起用起来不方便，需要用下划线进行提取，所以把它进行分离，方便以后使用。
根据以上分析，我们可以发现最后保留以下字段：url urlname ref uagent uvid ssid sscoutn sstime cip