hive内置函数_hive中的内置函数parse_url_tuple() 和内置函数 lateral view和 parse_url

hive中的内置函数parse_url_tuple() 和内置函数 lateral view

1.parse_url ()

解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。

【host,path,query,ref,protocol,file,authority,userinfo】这些可以理解为关键字 通过关键字可以获得url中对应的字段数据。

parse_url_tuple功能类似parse_url()，但它可以同时提取多个部分并返回

举例 ：

select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘PROTOCOL’) from dual; --http

select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘HOST’) from dual;—facebook.com​

select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘REF’) from dual;—空​

select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘PATH’) from dual;—/path/p1.php​

select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘QUERY’) from dual;—空​

​select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘FILE’) from dual;​—/path/p1.php?query=1​

​select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘AUTHORITY’) from dual;​—facebook.com​

​select parse_url(‘http://facebook.com/path/p1.php?query=1’, ‘USERINFO’) from dual;​—空

select parse_url(‘http://facebook.com/path/p1.php?query=1&name=3’, ‘QUERY’,‘name’)

select parse_url(‘http://facebook.com/path/p1.php?query=1&name=3’, ‘QUERY’’)

2.lateral view 是将右边的表或者结果合并到左边表 和左边表整合成一张表。

举例：

2.1.相当于拓展ods_weblog_origin表中的 http_referer字段 【原始表(左边表数据字段保持不变 新增拓展字段 并将原始表数据 导入新表中)】

create table t_ods_tmp_referurl as

SELECT a.,b.

FROM ods_weblog_origin a

LATERAL VIEW parse_url_tuple(regexp_replace(http_referer, “”", “”), ‘HOST’, ‘PATH’,‘QUERY’, ‘QUERY:id’) b as host, path, query, query_id;

2.2 相当于拓展ods_weblog_origin表中的time_local字段 并将原始表数据添加到新表 as select(查询添加))

–抽取转换time_local字段到中间表明细表 t_ods_tmp_detail

drop table if exists t_ods_tmp_detail;

create table t_ods_tmp_detail as

select b.*,substring(time_local,0,10) as daystr,

substring(time_local,12) as tmstr,

substring(time_local,6,2) as month,

substring(time_local,9,2) as day,

substring(time_local,11,3) as hour

From t_ods_tmp_referurl b;

2.3 是将原始表中的 url 和时间字段拓展 构成一张明细表 并查询填充数据

以上语句可以改写成：

insert into table ods_weblog_detail partition(datestr=‘20130918’)

select c.valid,c.remote_addr,c.remote_user,c.time_local,

substring(c.time_local,0,10) as daystr,

substring(c.time_local,12) as tmstr,

substring(c.time_local,6,2) as month,

substring(c.time_local,9,2) as day,

substring(c.time_local,11,3) as hour,

c.request,c.status,c.body_bytes_sent,c.http_referer,c.ref_host,c.ref_path,c.ref_query,c.ref_query_id,c.http_user_agent

from

(SELECT

a.valid,a.remote_addr,a.remote_user,a.time_local,

a.request,a.status,a.body_bytes_sent,a.http_referer,a.http_user_agent,b.ref_host,b.ref_path,b.ref_query,b.ref_query_id

FROM ods_weblog_origin a LATERAL VIEW parse_url_tuple(regexp_replace(http_referer, “”", “”), ‘HOST’, ‘PATH’,‘QUERY’, ‘QUERY:id’) b as ref_host, ref_path, ref_query, ref_query_id) c;

3.parse_url_tuple() 。

语法: parse_url(string urlString, string partToExtract [, string keyToExtract])，parse_url_tuple功能类似parse_url()，但它可以同时提取多个部分并返回

返回值: string

说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.

举例：

hive> select parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1′, ‘HOST’) from dual;

facebook.com

hive> select parse_url_tuple(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1’, ‘QUERY:k1’, ‘QUERY:k2’);

v1 v2

技术交流群 获得一个不错的连接 ：https://www.twblogs.net/a/5b80dfed2b71772165a9de1a/zh-cn

————————————————

版权声明：本文为CSDN博主「zengxianglei」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/zengxianglei/article/details/89969144