Hive
文章平均质量分 54
一只懒得睁眼的猫
励志成为一个技术大牛!
展开
-
Hive面试题系列第七题-同时在线问题
Hive面试题系列第七题-同时在线问题原创 2022-08-21 19:50:05 · 454 阅读 · 0 评论 -
Hive面试题系列第六题-互为好友问题
互为好友问题原创 2022-08-21 19:48:36 · 687 阅读 · 0 评论 -
Hive面试题系列第五题-Uv累加趋势图问题
uv累加趋势图问题原创 2022-08-21 19:47:26 · 400 阅读 · 0 评论 -
Hive面试题系列第四题-Pv累加趋势图问题
Hive面试题系列第四题-Pv累加趋势图问题原创 2022-08-21 19:45:50 · 260 阅读 · 0 评论 -
Hive面试题系列第三题-用户留存问题
Hive面试题系列第三题-用户留存问题原创 2022-08-21 19:44:33 · 642 阅读 · 0 评论 -
Hive面试题系列第二题-行转列问题
Hive面试题系列第二题-行转列问题原创 2022-08-21 19:42:51 · 151 阅读 · 0 评论 -
Hive面试题系列第一题-连续登录问题
Hive面试题系列第一题-连续登录问题原创 2022-08-21 19:40:17 · 287 阅读 · 0 评论 -
间隔连续问题
间隔连续问题原创 2022-08-02 22:35:54 · 158 阅读 · 0 评论 -
hive安装步骤详解
hive没有集群,只是一个client工具。只需要安装在一台主机上.软件下载的地址:mysql下载安装方式地址:链接:https://pan.baidu.com/s/1ddxqAzeTDs623xOr27ZeJw 提取码:isd1hive下载地址:链接:https://pan.baidu.com/s/1bqARkuC2DGiQcswmuLVUxA 提取码:r8f0基础安装步骤a. tar开文件到指定的目录下面tar -zxvf apache-hive-2.1.1-bin.tar.gz -原创 2021-08-08 14:29:35 · 348 阅读 · 0 评论 -
Hive 正则匹配函数 regexp_extract和 regexp_replace和rlike
介绍一下主要的功能函数.参考:https://www.jianshu.com/p/3bcc06b1294bregexp_extract相当于python当中的re.search:遍历匹配,仅可以获取到字符串当中第一个满足匹配条件的字符串然后返回,如果没有匹配到字符串,则返回空串(re是None).group() :不管有没有分组将匹配到的结果全部拿出来,等价于group(0),返回类型为字符串,group(1):只获取第一个分组部分的结果,group(2):只获取第一个分组部分的结果.hi原创 2021-04-21 07:40:09 · 4169 阅读 · 0 评论 -
HIVE自定义函数--UDF函数(用户自定义函数)详解
虽然HIVE当中的函数功能很强大,但是有的时候我们需要自定义函数,今天我们介绍一个最简单的函数,UDF函数. 当Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function).UDF:给参数计算出一个结果.参考博客:https://www.cnblogs.com/jifengblog/p/9278972.html直接进入正题,主要步骤:回到顶部UDF函数创建步骤(1)新建Java Maven项目,添加依赖123原创 2021-02-05 22:59:07 · 1643 阅读 · 0 评论 -
Hive时间函数
无论在哪门语言当中,时间函数显得都是特别重要的.参考博客:https://www.cnblogs.com/0xcafedaddy/p/9360492.htmlhttps://www.cnblogs.com/shujuxiong/p/9929297.htmlhttps://www.cnblogs.com/zhange000/p/10002055.html在HIVE当中时间函...原创 2020-05-02 10:11:32 · 599 阅读 · 0 评论 -
Hive用array_contains判断列表是否包含某个元素
代码示例:select task_id, task_code, task_version, case when array_contains(collect_set(tag_id), 599) or array_contains(collect_set(tag_id), 1225) then 'L1-级别'...原创 2019-11-04 19:55:28 · 33798 阅读 · 4 评论 -
hive-create table
场景:因业务特殊需求,临时需要创建一张表!!!(1)表存储格式是textfile(文本格式)建表语句:View Code查看表结构:CREATE TABLE test_1(task_id int,task_name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘|’LINES TERMINATED BY ‘\n’STORED...原创 2019-10-12 16:33:14 · 1165 阅读 · 0 评论 -
HIVE优化系列(1)-- 自动合并输出的小文件
小文件的缺陷我们就不说了,直接进入到正题.HIVE自动合并输出的小文件的主要优化手段为:set hive.merge.mapfiles = true:在只有map的作业结束时合并小文件,set hive.merge.mapredfiles = true:在Map-Reduce的任务结束时合并小文件,默认为False;set hive.merge.size.per.task = 25600...原创 2019-09-02 21:52:06 · 4086 阅读 · 2 评论 -
Hive表生成函数之---explode函数应用
通过explode+lateral view的具体实例讲述一下具体应用.实例程序1:通过explode+lateral view实现word count表结构:CREATE EXTERNAL TABLE doc(line string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘,’LINES TERMINATED BY ‘\n’STORED...原创 2019-07-31 08:00:35 · 982 阅读 · 0 评论 -
Plugin 'FEDERATED' is disabled. /usr/sbin/mysqld: Table 'mysql.plugin' doesn't exist
问题:在linux上安装mysql的时候出现Plugin ‘FEDERATED’ is disabled. /usr/sbin/mysqld: Table ‘mysql.plugin’ doesn’t exist问题。[root@hadoop11 mysql]# more hadoop11.err160714 14:51:30 mysqld_safe Starting mysqld daemon原创 2016-07-14 20:51:37 · 12573 阅读 · 1 评论 -
Exception in thread “main” java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop
今天用sqoop从mysql数据库向hdfs中导入数据时,抛出下列异常:Exception in thread “main” java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected?原因:sqoop的版本与hadoop的原创 2016-07-15 10:36:04 · 1938 阅读 · 0 评论 -
Hive的元数据信息
Hive将表中的元数据信息存储在数据库中,如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明: Hive数据仓库中: MySql数据库中存储的相应元数据信息: Navicate(远程连接的MySql)对应的元数据信息:原创 2016-11-08 16:26:39 · 5183 阅读 · 0 评论 -
mysql jdbc在hive中没有安装导致的两个问题
问题–hive操作的时候抛出异常:hive> show databases;FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factoryNestedThrowables:java.lang.reflect.InvocationTarg原创 2016-07-14 21:41:35 · 1084 阅读 · 0 评论 -
使用MSCK命令修复Hive表分区
转载网址: http://blog.csdn.net/opensure/article/details/51323220转载 2017-04-28 17:00:57 · 4509 阅读 · 0 评论 -
Hive架构以及应用介绍
Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位,在实际的业务当中用的也非常多,可以说Hadoop之所以这么流行在很大程度上是因为Hive的存在。那么Hive究竟是什么,为什么在Hadoop家族中占有这么重要的地位,本篇文章将围绕Hive的体系结构(架构)、Hive的操作、Hive与Hbase的区别等对Hive进行全方面的阐述。 在此之前,先给大家介绍一个业务场景,让大家感受原创 2016-05-23 16:39:25 · 20900 阅读 · 5 评论 -
Hive---外部分区表的创建
hive> create external table tv2(id int,name string,sex string) partitioned by(day int) > row format delimited > fields terminated b原创 2016-07-22 08:59:54 · 3511 阅读 · 0 评论 -
Hive内部表、外部表、分区表以及外部分区表创建以及导入数据实例讲解
源数据格式:[dd_edw@BJHC-Client-144113 zhang_dd_edw]$ more data.txt25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-1525499#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_li原创 2018-01-08 11:11:40 · 3327 阅读 · 0 评论 -
MySQL空串到Hive
public class test_me{ public static void main(String[] args) { String line = "38 2017-04-22 11:51:23 2017-04-21 23:00:00"; String[] split = line.spl...原创 2019-04-19 21:23:04 · 889 阅读 · 0 评论 -
linux 安装rpm包时遇到error:Failed dependencies解法方法
转载网址:http://blog.sina.com.cn/s/blog_80b4fe5c01018sgr.html转载 2016-07-14 14:24:49 · 2912 阅读 · 0 评论