![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
爆发的~小宇宙
github地址:https://github.com/ordinary-zhang?tab=repositories
展开
-
Hive总结篇及Hive的优化
概述Hive学习也有一段时间了,今天来对Hive进行一个总结,也是对自己的总结,作者还是个小白,有不对的地方请大家指出相互学习,共同进步。今天来谈一谈什么是Hive,产生背景,优势等一系列问题。什么是Hive老规矩:官网地址 Hive wiki. 先来谈谈自己的理解: 有些人可能会说Hive不就是写SQL的吗,那我们其实可以从另一个角度来理解:Hive很强大,只要写SQL就能解...原创 2018-09-11 10:15:40 · 41934 阅读 · 9 评论 -
Hive元数据表结构详解
概述我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话,虽然简短但是却能提炼出很多东西,大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表,他默认是存储再derby中的,但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。Hive元数据表结构hive-...原创 2018-06-14 21:59:37 · 13277 阅读 · 4 评论 -
Hive中的存储格式
1 概述官方链接 上一篇博客我们详细的介绍了压缩的使用,本文将详细介绍Hive中的存储格式,下面列出官方给出的存储格式:[STORED AS file_format]file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration...原创 2018-03-13 16:57:54 · 2725 阅读 · 1 评论 -
hive jdbc 连接时抛异常
Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.137.200:10000/default: java.net.ConnectException: Connection refused: connect ...原创 2018-01-18 15:22:02 · 13633 阅读 · 2 评论 -
Hadoop对于数据的离线处理流程及实现Top N 查询
1.需求:查询各个区域下最受欢迎的Top 3的访问次数2.数据:三张表在MySQL中,一张在hive中1.MySQL中的表:city_info:城市信息表mysql> select * from city_info;+---------+-----------+--------+| city_id | city_name | area |+-----...原创 2018-02-02 10:04:04 · 2071 阅读 · 2 评论 -
HiveServer2 JDBC客户端连接Hive数据库
官方地址1 简介两者都允许远程客户端使用多种编程语言,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,连这个和都允许远程客户端使用多种编程语言如java,python等向hive提交请求,取回结果(从hive0.15起就不再支持hiveserver了),但是在这里我们还是要说一下hiveserverHiveServer...原创 2018-01-15 17:23:28 · 4091 阅读 · 0 评论 -
Hive的内置函数和自定义函数UDF
1 Hive的内置函数在Hive中给我们内置了很多函数官方地址也可以在启动hive后输入命令查看函数:SHOW FUNCTIONS;DESCRIBE FUNCTION <function_name>;DESCRIBE FUNCTION EXTENDED <function_name>;查看所有的内置函数hive> show fun...原创 2018-01-15 09:04:18 · 28867 阅读 · 3 评论 -
Hive-Import/Export(导入导出)
1 官方地址Hive 0.8.0 之后引入了EXPORT and IMPORT 命令。EXPORT命令将表或分区的数据连同元数据一起导出到指定的输出位置(HDFS上)。然后可以将此输出位置移至不同的Hadoop或Hive实例,并使用IMPORT命令进行导入操作。导出分区表时,原始数据可能位于不同的HDFS位置。还支持导出/导入分区子集的功能。导出的元数据存储在目标目录中,数据文件存储...原创 2018-01-11 20:01:00 · 5074 阅读 · 0 评论 -
Hive CLI 常用操作
1 官方地址地址及语法To get help, run "hive -H" or "hive --help".Usage (as it is in Hive 0.9.0):usage: hive -d,--define <key=value> Variable substitution to apply to Hive ...原创 2018-01-10 10:24:10 · 1073 阅读 · 2 评论 -
Hive中扩展GIS函数
参考博客:https://www.jianshu.com/p/bb956bb4f996应用场景目前,Hive表中存在需要把经纬度转化为距离,和一些其他相关的计算函数,但是在hive中并没有集成这些函数。当然我们可以自定义UDF函数,但是现在提供一个更加简单的方法,通过源码编译的方式,集成GIS函数。环境<profile> <id>hadoop-2.7&l...原创 2019-05-20 17:48:14 · 1167 阅读 · 0 评论