Hive自定义函数的使用——useragent解析

最新推荐文章于 2024-07-16 10:50:48 发布

sanfendi

最新推荐文章于 2024-07-16 10:50:48 发布

阅读量6.9k

点赞数

分类专栏： hive 文章标签： hive

本文链接：https://blog.csdn.net/laozhaokun/article/details/40621605

版权

在Hive中，面对无法直接解析的日志UserAgent数据，通过创建UDF来处理。使用useragentutils.jar解析UserAgent，但由于Hadoop和Hive不支持直接引用第三方库，需要导入源码。UDF示例展示了如何打印操作系统和浏览器版本信息，但不适合统计分析。为了解决这个问题，可以采用UDTF(User Defined Table Generating Function)，将一行数据转化为多列，以进行进一步的统计分析。

摘要由CSDN通过智能技术生成

想要从日志数据中分析一下操作系统、浏览器、版本使用情况，但是hive中的函数不能直接解析useragent,于是可以写一个UDF来解析。useragent用于表示用户的当前操作系统，浏览器版本信息，形如：

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 180.173.196.29

其中解析ua可以用一个开源的工具包,叫做useragentutils.jar来处理，但是不能直接引入这个包，因为hadoop和hive都不支持直接引用第三方的包，要导入源码。项目结构应该如下图

下面的代码用来打印出操作系统、浏览器版本信息：

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

import eu.bitwalker.useragentutils.UserAgent;

public class ParseUserAgent_UDF extends UDF{

最低0.47元/天解锁文章