![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hive
文章平均质量分 59
hive相关的知识
黄道婆
大数据开发工程师、AI算法工程师,喜欢写代码、喜欢读IT资料,IT行业的一名小学生,持续学习ing。活到老,学到老。
程序员的追求:知识、技术、创新。我喜欢这句话。
展开
-
转载:Hive整合HBase完整笔记
原始链接:https://blog.csdn.net/dajiangtai007/article/details/79696853Hive整合HBase完整笔记(亲测)Hive与HBase整合文档1、Hive整合HBase配置1.1拷贝hbase 相关jar包将hbase 相关jar包拷贝到hive lib目录下hbase-client-0.98.13-hadoop2.jarhbase-common-0.98.13-hadoop2.jarhbase-server-0...转载 2020-11-19 13:40:17 · 155 阅读 · 0 评论 -
转载:hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法
原始链接:https://www.cnblogs.com/wujin/p/6051768.htmlhive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法hive中一般取top n时,row_number(),rank,dense_ran()这三个函数就派上用场了,先简单说下这三函数都是排名的,不过呢还有点细微的区别。通过代码运行结果一看就明白了。示例数据: 1 2 3 4 5 6 7.转载 2020-11-09 16:19:51 · 140 阅读 · 0 评论 -
转载:Hive:窗口函数
原始链接:https://blog.csdn.net/weixin_38750084/article/details/82779910Hive:窗口函数花和尚也有春天2018-09-20 00:01:3519308收藏116分类专栏:hive文章标签:窗口函数HiveHive窗口函数简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析(在线分析处理)。概念我们都知...转载 2020-10-10 22:38:34 · 118 阅读 · 0 评论 -
转载:Hive中的窗口函数
原始链接:https://www.cnblogs.com/wcwen1990/p/7601267.htmlHive中的窗口函数简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析概念我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后转载 2020-10-10 22:33:16 · 165 阅读 · 0 评论 -
转载:hive窗口函数必备宝典
原始链接:https://blog.csdn.net/dingchangxiu11/article/details/83145151hive窗口函数必备宝典Hive中提供了越来越多的分析函数,用于完成负责的统计分析。我们先在一一列举,希望能够加深印象,希望大家积极讨论,如有不足,请大家多多指教。。。。1.Row_Number,Rank,Dense_Rank 这三个窗口函数的使用场景非常多row_number():从1开始,按照顺序,生成分组内记录的序列,row_number()...转载 2020-10-10 22:25:38 · 106 阅读 · 0 评论 -
转载:
原始链接:https://www.cnblogs.com/wujin/p/6051768.htmlhive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法hive中一般取top n时,row_number(),rank,dense_ran()这三个函数就派上用场了,先简单说下这三函数都是排名的,不过呢还有点细微的区别。通过代码运行结果一看就明白了。示例数据: 1 2 3 4 5 6 7.转载 2020-10-06 22:17:20 · 76 阅读 · 0 评论 -
过往记忆的专栏文章转载:如何在 Apache Hive 中解析 Json 数组
原文链接:https://www.iteblog.com/archives/2362.html如何在 Apache Hive 中解析 Json 数组Hive2018-07-04 15:53:01156010评论下载为PDF为什么无法评论和登录文章目录1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组问题我们都知道,Hive内部提供了大量的内置函数用于处理各种类型的需求,参见官方文档:Hive Operato...转载 2020-10-04 12:26:28 · 104 阅读 · 0 评论 -
Hive自定义函数实现Json数据解析UDF开发(作业)
参考文章:https://www.pianshen.com/article/931082274/我做的工作:完全照猫画虎,一步步操作下来,写出完整的代码。Json数据解析UDF开发(作业)作业:有原始json数据如下: {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"}...原创 2020-10-04 12:14:59 · 835 阅读 · 1 评论 -
转载:hive学习5:自定义函数之json对象转换hive数据存储
原始链接:https://www.pianshen.com/article/931082274/hive学习5:自定义函数之json对象转换hive数据存储技术标签:hive0元数据,上传到服务器上: {"movie":"2717","rate":"3","timeStamp":"978298196","uid":"2"} {"movie":"2571","rate":"4","timeStamp":"978299773","uid":"2"} ...转载 2020-10-04 10:58:45 · 138 阅读 · 0 评论 -
转载:hive清空外部表的三种方式
原始链接:https://blog.csdn.net/lixiaoksi/article/details/106919895hive清空外部表的三种方式本文总结hive中清空外部表的三种方式hive版本:2.1.1环境准备新建一张外部表:create external table test_external(name String,age int,sex String) stored as orc;插入数据:insert into table test_...转载 2020-10-03 20:02:49 · 3272 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive数据类型转换
原始链接:https://www.iteblog.com/archives/892.htmlHive数据类型转换Hive2014-01-08 00:13:391285331评论下载为PDF为什么无法评论和登录写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。/arch...转载 2020-10-03 17:23:50 · 843 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive中order by,Sort by,Distribute by和Cluster By介绍
原文链接:https://www.iteblog.com/archives/1534.htmlHive中order by,Sort by,Distribute by和Cluster By介绍Hive2015-11-19 20:10:28123350评论下载为PDF为什么无法评论和登录 我们在使用Hive的时候经常会使用到order by、Sort by、Distribute by和Cluster By,本文对其含义进行介绍。文章目录1order by 2...转载 2020-10-03 17:23:37 · 144 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive常用语句
原始连接:https://www.iteblog.com/archives/1537.htmlHive常用语句Hive2015-11-27 14:48:2893800评论下载为PDF为什么无法评论和登录文章目录1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名显示分区 show partitions iteblog; 添加分区 ALTER TABLE tab...转载 2020-10-03 17:23:19 · 70 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive常用字符串函数
原始连接:https://www.iteblog.com/archives/1639.htmlHive常用字符串函数Hive2016-04-24 21:39:2695333下载为PDF为什么无法评论和登录 Hive内部提供了很多操作字符串的相关函数,本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数,具体的用法可以参见本文的下半部分。返回类型 函数名 描述 int ascii(string str) 返回str第一个字...转载 2020-10-02 15:45:37 · 176 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive中Reduce个数是如何计算的
原始连接:https://www.iteblog.com/archives/1697.htmlHive中Reduce个数是如何计算的Hive2016-06-28 19:27:19126571评论下载为PDF为什么无法评论和登录 我们在使用Hive查询数据的时候经常会看到如下的输出: Query ID = iteblog_20160704104520_988f81d4-0b82-4778-af98-43cc1950d357 Total jobs = ...转载 2020-10-02 15:42:45 · 324 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive 数据抽样的几种方法
原始连接:https://www.iteblog.com/archives/1996.htmlHive 数据抽样的几种方法Hive2017-02-10 09:53:5432320评论下载为PDF为什么无法评论和登录在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。本文就介绍Hive中三种数据抽样的方法文章目录1块抽样(Block Sampling) 2...转载 2020-10-02 15:35:06 · 152 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive分区修复命令MSCK介绍与使用
原始连接:https://www.iteblog.com/archives/2035.htmlHive分区修复命令MSCK介绍与使用Hive2017-02-21 21:17:28130470评论下载为PDF为什么无法评论和登录 我们在使用Hive的时候肯定遇到过建立了一张分区表,然后手动(比如使用cp或者mv)将分区数据拷贝到刚刚新建的表作为数据初始化的手段;但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面,这样才能供我们查询...转载 2020-10-02 12:31:17 · 289 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive删除外部表异常(Table metadata not deleted)
原始连接:https://www.iteblog.com/archives/2166.htmlHive删除外部表异常(Table metadata not deleted)Hive2017-06-27 08:54:0135081评论下载为PDF为什么无法评论和登录文章目录1问题 2原因 3解决办法 3.1修改 Hive 的源码 3.2修改外部表的数据目录 问题我们应该知道,Hive中存在两种类型的表:管理表(Managed table,...转载 2020-10-02 12:27:55 · 410 阅读 · 1 评论 -
过往记忆的专栏文章转载:如何在 Apache Hive 中解析 Json 数组
原始连接:https://www.iteblog.com/archives/2362.html如何在 Apache Hive 中解析 Json 数组Hive2018-07-04 15:53:01156000评论下载为PDF为什么无法评论和登录文章目录1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组问题我们都知道,Hive内部提供了大量的内置函数用于处理各种类型的需求,参见官方文档:Hive Operators ...转载 2020-10-02 12:21:54 · 159 阅读 · 0 评论 -
过往记忆的专栏文章转载:Apache Hive 联邦查询(Query Federation)
原始链接:https://www.iteblog.com/archives/2524.htmlApache Hive 联邦查询(Query Federation)Hive2019-03-16 22:33:1630011评论下载为PDF为什么无法评论和登录如今,很多公司可能会在内部使用多种数据存储和处理系统。这些不同的系统解决了对应的使用案例。除了传统的 RDBMS (比如 Oracle DB,Teradata或PostgreSQL) 之外,我们还会使用 Apache ...转载 2020-10-02 11:51:40 · 432 阅读 · 0 评论 -
过往记忆的专栏文章转载:Apache Hive JdbcStorageHandler 编程入门指南
原始链接:https://www.iteblog.com/archives/2525.htmlApache Hive JdbcStorageHandler 编程入门指南Hive2019-04-02 07:23:0019810评论下载为PDF为什么无法评论和登录ApacheHive从HIVE-1555开始引入了 JdbcStorageHandler ,这个使得Hive能够读取 JDBC 数据源,关于 Apache Hive 引入 JdbcStorageHan...转载 2020-10-02 11:41:21 · 228 阅读 · 0 评论 -
过往记忆的专栏文章转载:在 Hive 中使用 OpenCSVSerde
原始链接:https://www.iteblog.com/archives/2392.html在 Hive 中使用 OpenCSVSerdeHive2020-05-04 18:59:413940评论下载为PDF为什么无法评论和登录文章目录1OpenCSVSerde 使用 2OpenCSVSerde 的问题 2.1为什么使用 OpenCSVSerde 时,show 的时候字段全变成 string 类型 2.2有什么好办法? OpenCSVSerd...转载 2020-10-02 11:27:36 · 251 阅读 · 1 评论 -
过往记忆的专栏文章转载:RCFile (Record Columnar File)设计
原始链接:https://www.iteblog.com/archives/9829.html从行存储到 RCFile,Facebook 为什么要设计出 RCFile?Hive2020-06-16 22:56:463440评论下载为PDF为什么无法评论和登录2010年,Facebook 的工程师在 ICDC(IEEE International Conference on Data Engineering) 发表了一篇《RCFile: A Fast and Space-e...转载 2020-10-02 11:07:12 · 228 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive insert into语句用法
过往记忆的专栏文章转载:Hive insert into语句用法原始链接:https://www.iteblog.com/archives/798.htmlHive insert into语句用法Hadoop2013-10-30 16:32:54893382评论下载为PDF为什么无法评论和登录 在Hive0.8开始支持Insert into语句,它的作用是在一个表格里面追加数据。标准语法语法如下: 用法一: INSERT OVERWRITE T...转载 2020-10-01 21:51:11 · 1535 阅读 · 0 评论 -
转载:hive开窗函数,分析函数
原始链接:https://www.cnblogs.com/yejibigdata/p/6376409.html1.hive开窗函数,分析函数http://yugouai.iteye.com/blog/1908121分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化drop table if exists student;create tab.转载 2020-09-29 13:47:47 · 237 阅读 · 0 评论 -
转载:Hive开窗函数整理
原始链接:https://www.cnblogs.com/zz-ksw/p/12917693.htmlHive开窗函数整理分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化!到底什么是数据窗口?后面举例会详细讲到!基础结构:分析函数(如:sum(),max(),row_number()...) + 窗口子句(over函数)over函数.转载 2020-09-29 13:35:21 · 99 阅读 · 0 评论 -
转载:Hive开窗函数实战(建议收藏)
原始链接:https://blog.csdn.net/a934079371/article/details/106205151?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_paramHive开窗函数实战(建议收藏).转载 2020-09-29 12:50:05 · 179 阅读 · 0 评论 -
hive在mysql中总是不创建元数据库的解决办法
hive在mysql中总是不创建元数据库的解决办法这两天打算好好捣鼓捣鼓hive sql。遂搞了台centos搭环境,搭环境嘛,当然是怎么简单怎么来,怎么快怎么来。好不容易搭完了,发现hive在mysql中总是不创建元数据库。按照既往掉坑的经验,怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guava jar包版本不一致、怀疑mysql服务没启动、怀疑元数据的字符集编码集不对时区不对……都不对。网上搜到的解决办法是手动执行初始化元数据的工作,问题.原创 2020-09-27 14:35:49 · 956 阅读 · 1 评论 -
转载:Hive sql语句必练50题-入门到精通(3)
原始链接:https://blog.csdn.net/Thomson617/article/details/83281254Hive sql语句必练50题-入门到精通(3)承接: Hive sql语句必练50题-入门到精通(2)– 36、查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数:select student.s_id,s_name,c_name,s_score from student join (select sc.* from score sc ..转载 2020-09-26 20:07:58 · 147 阅读 · 0 评论 -
转载:Hive sql语句必练50题-入门到精通(2)
原始链接:https://blog.csdn.net/Thomson617/article/details/83280617Hive sql语句必练50题-入门到精通(2)承接: Hive sql语句必练50题-入门到精通(1)– 21、查询不同老师所教不同课程平均分从高到低显示:– 方法1select course.c_id,course.t_id,t_name,round(avg(s_score),2)as avgscore from course join te..转载 2020-09-26 20:03:34 · 240 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(3)(转载)
Hive sql语句必练50题-入门到精通(3)原始链接:https://blog.csdn.net/Thomson617/article/details/83281254原创Thomson617 最后发布于2018-10-23 00:50:59 阅读数 1945 收藏展开承接: Hive sql语句必练50题-入门到精通(2)– 36、查询任何一门课程成绩在70分以上的学生姓名、...转载 2020-02-24 15:59:23 · 278 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(2)(转载)
Hive sql语句必练50题-入门到精通(2)原始链接:https://blog.csdn.net/Thomson617/article/details/83280617原创Thomson617 最后发布于2018-10-22 23:08:54 阅读数 2546 收藏展开承接: Hive sql语句必练50题-入门到精通(1)– 21、查询不同老师所教不同课程平均分从高到低...转载 2020-02-24 15:57:20 · 270 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(1)(转载)
Hive sql语句必练50题-入门到精通(1)原始链接:https://blog.csdn.net/Thomson617/article/details/83212338原创Thomson617 最后发布于2018-10-20 12:22:19 阅读数 9481 收藏展开hive学习之经典sql 50题 hive版建表:create table student(s_id ...转载 2020-02-24 15:54:56 · 457 阅读 · 0 评论