一道HIVE UDF笔试题-解析url字符串的主域部分

最新推荐文章于 2022-08-30 23:39:12 发布
最新推荐文章于 2022-08-30 23:39:12 发布
阅读量1k 收藏 4
点赞数
分类专栏： Hadoop Hive BI 文章标签： UDF案例 解析URL 获取主域 HIVE UDF UDF笔试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixiaotaoplus/article/details/80562140
版权
本文分享了一道关于HIVE UDF的笔试题，要求编写UDF从URL中提取主域部分。作者提供了参考资料和解决方案，如Java UDF帮助文档链接和正则表达式教程，并详细描述了如何解决该问题，确保代码能在本地正确运行。
摘要由CSDN通过智能技术生成

近日参加了一次在线测评，编写UDF，获取URL字符串的主域部分。不是太难，在这里也记录总结一下：

1、Java UDF帮助文档可参考：https://help.aliyun.com/document_detail/27867.html
2、正则表达式：http://www.runoob.com/regexp/regexp-syntax.html
3、评测题目: 请写出ODPS-UDF代码，获取输入url字符串的主域部分，例如：输入www.taobao.com、https://www.taobao.com、https://www.taobao.com/market/peishi/yanjing.php，返回主域taobao.com.
（参考链接https://help.aliyun.com/document_detail/27867.html）

package com.lixiaotao.hive.udf;
最低0.47元/天 解锁文章
HIVE的URL解析
Signal_Du的博客
07-26 9072
目录 从url返回PROTOCOL 从url返回HOST 从url返回PATH 从url返回QUERY 从url返回QUERY中指定的参数的值 从url返回FRAGMENT标识符 从url返回FILE 从url返回AUTHORITY 从url返回USERINFO Every HTTP URL conforms to the syntax of a generic URI....
Hive第五天——Hive函数（URL解析函数）
你怎么回事
09-26 1985
本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95303594 Hive第五天——Hive函数 自己的话：千里之行，始于足下。 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 URL解析函数 在工作中，我们除了JSON格式还会经常遇到URL格式的日志数据，本文来详细介绍在Hive中解析URL的函数： 1.par...
Hive面试题：请写出你在工作中自定义过的udf函数，简述定义步骤
谦卑t
12-01 1574
步骤： 1.extends UDF，实现evaluate（） 2.add JAR /home/hadoop/hivejar/udf.jar; 3.create temporary function tolowercase as 'com.ghgj.hive.udf.ToLowerCase'; 4.使用 5.drop temporary function tolowercase;...
hive的内置函数和自定义函数
weixin_30725315的博客
09-14 163
一、内置函数 　　1.一般常用函数　　 1.取整函数 round（） 当传入第二个参数则为精度 bround（） 银行家舍入法：为5时，前一位为偶则舍，奇则进。 2.向下取整 floor（） 3.向上取整 ceil/ceiling（） 4.生成随机数 rand （） 范围[0,1),传入种子时生成稳定随机数 5.自然指数函...
Hive 笔试题
weixin_30552635的博客
06-29 1265
Hive 笔试题 考试时间： 姓名：____________ 考试成绩：____________ 考试时长：180 分钟 注意事项： 1. 自主答题，不能参考任何除本试卷外的其它资料。 2. 总成绩共 200 分，共 20 题，每题 10 分，注意条理清楚、简明扼要、重点突出。 1. Hive 的架构设计与运行流程，及其各模块的主要作用是什么，请画出架构图 ...
hive面试题（Hadoop）
05-25
- **实现**：将JSON数据作为字符串导入Hive表中，使用UDF函数（如LATERAL VIEW json_tuple）进行解析。 #### 方法二：使用第三方SerDe - **实现**：在导入前使用第三方库（例如JsonSerDe）解析JSON数据，确保导入的...
31道Hive大厂高频面试题，学会了进大厂不是梦，建议收藏！
雷恩Layne
09-26 8685
文章目录1. 介绍一下什么是Hive2. Hive的架构原理3. Hive的HSQL转换为MapReduce的过程？4. Hive和RDBMS有什么异同/hive和传统数据库之间的区别5. HiveSQL语句不会转化为MapReduce作业的情况6. 请简单介绍一下Hive的本地模式7. 你使用过哪些 Hive 函数8. 列转行和行转列函数有哪些9. 介绍一下Hive中的窗口函数10. Hive内部表、外部表、分区表、分桶表的区别，以及各自的使用场景11. Order By,Sort By,Distrbu
银行大数据工程师笔试题
小力子的博客
09-06 1万+
Spark有3种运行模式（分布式部署方式）：独立集群运行模式、YARN运行模式、Mesos运行模式。 SecondaryNameNode：它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间。 以下python语句(Python 2.7.13)的执行结果是： import re key = r"mat cat hat pat" p1 = r"[^c|p]at" pa...
大数据开发面试题总结-超详细
热门推荐
JohnnyChu的博客
11-18 1万+
1、文件上传： 总结： 客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline流--->开始上传，先上传到缓存中，再上传到磁盘--->上传完成，关闭pipline流--->上...
hive udf 分组取top1_Hive工作和面试常见的练习题----借鉴他人练习（5）
weixin_31111259的博客
01-05 204
感谢该博主总结的思路，为hive学习和面试提供系统性的指导，本文是借鉴该楼主的文章进行练习，无眠：数据分析面试必备——SQL你准备好了吗？一、最基本1.选择某列select a from table_1;2.表连接：多张表中，想选取多个字段？select a.id,a.age,b.sex from (select id,age from table-1）a ...
大数据Hive URL解析函数及侧视图
赵广陆
09-19 1490
目录1 实际工作需求2 URL的基本组成3 Hive中的URL解析函数3.1 数据准备3.2 需求3.3 parse_url3.4 UDTF函数的问题3.5 Lateral View侧视图3.5.1 功能3.5.2 语法3.5.3 测试 1 实际工作需求 业务需求中，我们经常需要对用户的访问、用户的来源进行分析，用于支持运营和决策。例如我们经常对用户访问的页面进行统计分析，分析热门受访页面的Top10，观察大部分用户最喜欢的访问最多的页面等： 又或者我们需要分析不同搜索平台的用户来
Hive函数之parse_url
xiaolang85的专栏
04-19 1万+
parse_url(url, partToExtract[, key]) - extracts a part from a URL 解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。 举例： * parse_url('http://facebook.com
Hive解析Json，URL操作
Java大数据
07-22 610
在实际开发当中json 很常见的类型，hive处理json字符串成为目标的宽表。 从json ===》 hive table ===》sql 一，解析json 先介绍下用到的hive 内置函数 json_tuple 执行：desc function [extended] json_tuple; 显示： json_tuple(jsonStr, p1, p2, ..., pn) like get_js...
hive之UDF函数编程详解
weixin_30537451的博客
04-23 308
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数 UDAF：many to one，进来多个出去一个，row mapping。...
从url提取key vale
wangzhicheng2013的专栏
08-11 700
/************************************************************************* > File Name: test.h > Author: wangzhicheng > Mail: 2363702560@qq.com > Created Time: Fri 11 Aug 2017 09:30:4
Hive自定义函数提取网址信息
weixin_39216383的博客
01-11 751
需求：我们需要实现自定义函数，来提取dns中的名字和对应的汉字。并将查询信息写入到另一张表 一. 显示需求 基础表 1 www.baidu.com 2 www.google.com 3 www.taobao.com 最终结果 baidu 百度 google 谷歌 taobao 淘宝 二. 首先我们需要用编写IDEA编写两个UDF函数，来得到两个字段的结果。 编写实现
取url主域 java,您将如何解析Ruby中的url来获取主域？
weixin_42813171的博客
02-28 75
I want to be able to parse any url with ruby to get the main part of the domain without the www (just the XXXX.com)解决方案This should work with pretty much any URL:# URL always gets parsed twicedef get_h...
一个查询ip归属地的hive udf
云想慕尘的专栏
07-01 1129
背景 工作中会用到查询ip归属地的场景，购买了ip库数据，因官方不提供数据遍历方案，所以无法全量导入到hive中，只能使用udf进行查询。 数据源来自https://www.ipip.net/，数据格式为.ipdb，如：ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
数仓项目拉链表
weixin_44870066的博客
08-30 1187
离线数仓项目中拉链表
add jar hdfs:///tmp/hiveudf/udf-1.0-20230307.jar; 什么意思
最新发布
06-13
这是在 Hive 中添加一个用户自定义函数（UDF）的 JAR 文件的命令。该命令指定了 JAR 文件所在的 HDFS 路径，并将其加载到 Hive 中，以便在 Hive 查询中使用该自定义函数。其中，“hdfs:///tmp/hiveudf/udf-1.0-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值