hive求页面访问路径

最新推荐文章于 2024-02-11 13:23:08 发布
最新推荐文章于 2024-02-11 13:23:08 发布
阅读量2.2k 收藏
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oopsoom/article/details/22290875
版权
本文讲述了如何使用Hive处理大规模的页面访问路径数据，包括创建一个Hive UDF和编写纯Hive SQL实现从TRLOG表到ALLOG表的ETL过程，目的是追踪用户的页面跳转轨迹。
摘要由CSDN通过智能技术生成
曾今在论坛上看到一个这样的题： 
有一张很大的表：TRLOG该表大概有2T左右
TRLOG：
CREATE TABLE TRLOG
(PLATFORM string,
USER_ID int,
CLICK_TIME string,
CLICK_URL string)
row format delimited
fields terminated by '\t';


数据：
PLATFORM USER_ID CLICK_TIME CLICK_URL
WEB 12332321 2013-03-21 13:48:31.324 /home/
WEB 12332321 2013-03-21 13:48:32.954 /selectcat/er/
WEB 12332321 2013-03-21 13:48:46.365 /er/viewad/12.html
WEB 12332321 2013-03-21 13:48:53.651 /er/viewad/13.html
WEB 12332321 2013-03-21 13:49:13.435 /er/viewad/24.html
WEB 12332321 2013-03-21 13:49:35.876 /selectcat/che/
WEB 12332321 2013-03-21 13:49:56.398 /che/viewad/93.html
WEB 12332321 2013-03-21 13:50:03.143 /che/viewad/10.html
W
最低0.47元/天 解锁文章
大数据NiFi（二十）：实时同步MySQL数据到Hive
Lansonli（蓝深李）的博客
02-26 7032
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”。以上获取的tablename名称为“test2”，后面这个sql是要将数据插入到Hive中的，所以这里在Hive中也应该创建“test2”的表名称，或者将表名称写成固定表，后期在Hive中创建对应的表即可。
HIVE SQL 启动hive,hive基础语句,求pv,uv
qq_45255036的博客
03-16 753
第十一单元 HIVE SQL 、Hive MR参数设置 1、知识点回顾 hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件 hive建表 create table 表名(字段1 类型1,字段2 类型2……) row format delimited fields terminated by '字段分隔符'; 为一键启动集群中的zookeeper，以下提供参考脚本： #vim ...
Java进行Hive的连接和访问
chuqiong9757的博客
09-06 2041
今天看了一遍不错的文章，关于Java访问Hive的，正好要用到这一块，分享到此以便更多的人可以学习和应用 非常感谢博主的总结和分享 博文链接：https://www.jianshu.com/p/4ef28607fc04 Hive内置服务与HiveServer2应用 内置服务介绍 ...
Hive实现用户访问路径还原
weixin_34378045的博客
04-19 278
今天某位仁兄给了一道Hive的题目 hive里有个表存储了 (用户ID) (点击时间) (点击网址) 输出 用户ID,点击顺序，from url ，to url。 其中点击顺序是每个id执行按时间排序后的顺序号，from url为上一次点击的网址，to url 为当次点击的网址。 顺序号为1的时候from url 为空就行了 1.实现基于纯Hive SQL的ETL过...
统计指定路径hive表存量
qq_43193797的博客
11-23 166
etldate=(20201111) etlhour=(00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23) sum=0 for date in ${etldate[@]} do for hour in ${etlhour[@]} do count=`hadoop fs -ls /user/hive/databases/mydata/data_date=$date$hour | awk -F ' ' '
HIVE_SQL_复杂SQL_求访问深度以及前一跳和下一跳的地址
迎难而上
06-05 626
今天面试遇到了一道题，通过HQL 求访问深度以及当前页与下一页面的地址 前提假设： 1.用户只访问同一page一次 2.用户单一标签页跳转 有如下图1 转换为 图2 格式，即访问路径问题 图1 图2 SELECT tmpB.platform, tmpB.user_id, tmpB.seq, t...
No Java compiler available
senvil的专栏
10-04 4078
hwi(hive web interface)是hive命令行接口的一个补充，主要功能包括： 1.shema browsing ：获取table的信息，包括serde、columen name、column type 2.detached query execution：在hive命令行界面，用户如果需要执行多个查询，则需要同时打开多个命令行界面。hwi允许用户同时开始多个查询，并且查看执行状
HiveSQL路径分析（桑基图）
asd623444055的博客
06-17 1329
桑基图
使用IDEA工具连接CDH集群里面的hive组件
10-06
通常，这些配置文件可以从CDH集群的Hive页面上下载，比如`hiveserver2-site.xml`、`core-site.xml`和`hdfs-site.xml`。下载后解压，将它们放在项目中的一个新创建的“resource”目录下。 最后，我们就可以开始编写...
Hive>Hive的两种访问方式
qq_44509920的博客
11-21 5792
文章目录第一种访问方式：Hive交互shell第二种访问方式：Hive JDBC服务（推荐）Hive命令（传选项） 第一种访问方式：Hive交互shell 在Hive客户端，配置hive到环境变量的前提下，在节点的任意位置 直接输入hive + 回车 第一种交互方式：Hive交互shell cd /export/servers/hive-1.1.0-cdh5.14.0 bin/hive 查...
如何查看hive的host（主机地址，端口号）java连接必备
code_aliu的博客
03-24 7553
1.进入linux安装软件的包下，找到解压后的apache-hive-3.1.0-bin，进入 2.进入conf文件夹下，里面有一个hive-site.xml文件 3.cat hive-site.xml可以查看connection.hosts属性：这里面的value就是主机地址加端口号
大数据技术之Hive
m0_57126939的博客
03-18 2431
Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL(HQL)查询功能。1）用户接口：ClientJDBC/ODBC(jdbc访问hive)、2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL。
大数据系列——Hive理论
mql007007的博客
04-16 699
Hive是一个数据仓库管理工具，将结构化的数据文件映射为一张数据库表，并提供类SQL（HQL）查询功能。由Facebook实现并开源,最后捐赠给Apache发展为顶级项目。以RDBMS数据库为元数据存储服务，以Hadoop HDFS来存储数据，以MapReduce（默认）、Tez、Spark为计算引擎来计算其所辖的数据，以Zookeeper（或同等应用）作为其分布式协调服务，实现高可用。
【Hive】Hive开启远程连接及访问方法
微光点亮星辰
06-27 2490
本文关键字：Hive、远程连接、MetaStore、JDBC、SparkSQL。在进行开发时，我们通常需要能够在代码中访问Hive进行查询，此时我们要做一些配置和修改。第一种方式是直接开启一个hiveserver2的Hive服务端，用来提供执行 SQL 查询和获取结果的接口。第二种模式是直接开启一个Metastore服务，以网络模式/远程模式来为访问提供支持。两种模式都有各自的使用场景，在多节点的生产环境中多采用网络模式【有利于保证数据的一致性】，开发测试环境中多采用伪分布模式，因此嵌入模式通常足够。
HiveSQL——用户行为路径分析
最新发布
爱吃辣条的博客
02-11 2097
HiveSQL——用户行为路径分析
Hive UI 界面的访问方法
妙妙的博客
12-13 8683
环境：hdp 2.4hdp 2.4 对应的hive版本是1.2.1如果是hdp 2.4 以及以下的版本，可以参考HDP2.4 及以下各组件版本安装Hive hwi 的方法：1. 下载源代码，根据自己的hive版本下载 http://archive.apache.org/dist/hive/apache-hive-1.2.1-src.tar.gz2. 解压后将 ./hwi/web/ 目录打包成 hiv
Hive SQL窗口函数实现页面统计(以腾云天下页面访问为例)
zhaolq1024的博客
07-18 1995
埋点数据字段为: userid,at,sid,pid分别表示用户id,访问时间,sessionId(区分一次启动),页面id 表名为beacon 所有数据均为模拟数据 2018-07-04 11:46:37 2856 efda26adec1c3eb8 h_01 2018-07-04 11:46:47 2856 efda26adec1c3eb8 h_03 2018-07-04 11:46:...
Hive访问方式
moneycrazy的博客
10-29 5420
Hive的访问方式主要分为两种，一种是本地模式，通常用于单机测试，另一种是远程连接模式，比较常用。 本文前提： 1.本文使用的软件版本为： hadoop2.7.4 hive1.2.1 jdk1.8 2.运行hive之前保证jdk与hadoop配置完毕，并且启动HDFS和Yarn。 1.本地模式 在hive安装路径bin目录下，直接运行hive脚本，即可进入本地模式，如下图所示： ...
Hive管理之Web界面和远程管理
实践求真知
11-21 8828
一 Web启动方式 端口号：9999 hive --service hwi & 通过浏览器来访问：http://:9999/hwi/ 二 安装apache-hive-0.13.0-src.tar.gz [root@localhost ~]# ls apache-hive-0.13.0-src.tar.gz apache-hive-0.13.0-src.tar.gz [roo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值